主题    支持大模型训练/推理的计算机系统的研究与思考

时间    2024.12.11（周三）10:00—11:30

地点    中国人民大学信息楼四层学术报告厅

讲座摘要

首先介绍大模型生命周期的五个环节,它们是数据获取,数据预处理,模型训练,模型微调和模型推理。每个环节对算力和存储产生爆发式需求。接着介绍目前从事大模型的三大类公司:1.研发大模型，2.大模型+X,3.支持大模型的计算机系统。指出建自主可控的国产智算系统核心基础软件的重要性和如何建。最后讨论两个问题:1.构建国产万卡系统很重要也很难。2.异构卡联合训练，异地卡联合训练效果不太好。

主讲人

郑纬民，清华大学计算机系教授，中国工程院院士。长期从事高性能计算机体系结构、并行算法和系统研究。提出可扩展的存储系统结构及轻量并行的扩展机制，发展了存储系统扩展性理论与方法。在国内率先研制并成功应用集群架构高性能计算机。在国产神威太湖之光上研制的极大规模天气预报应用获得ACM Gordon Bell奖。曾获国家科技进步一等奖1项、二等奖2项、国家技术发明二等奖1 项，何梁何利科技进步奖，获得首届中国存储终身成就奖。