淮海智算中心和浪潮信息进行超大规模参数AI大模型训练性能测试

（全球TMT2023年2月20日讯）近日，淮海智算中心携手浪潮信息进行了超大规模参数AI大模型训练性能测试，实测数据表明，千亿参数规模的自然语言AI单体大模型在淮海智算中心计算平台上的训练算力效率达53.5%，刷新了业内AI大模型训练算力效率新高。这意味着淮海智算中心将可为国内生成式AI创新团队提供高性能、高效率的AI大模型训练算力服务。

浪潮信息AI团队对淮海智算中心算力系统进行了专业设计，对集群架构、高速互联、算力调度等方面进行全面优化，在系统架构上，采用单节点集成8颗加速器的AI服务器，节点内加速器间实现超高速P2P通信，节点间建立极低延迟、超高带宽的Infiniband通信网络。在大模型训练技术层面，成功运用了中文巨量AI模型“源1.0”的训练优化经验，对分布式训练策略进行了针对性优化，通过合理设计张量并行、流水并行和数据并行，精准调整模型结构和训练过程的超参数，最终实现了千亿参数规模AI大模型的训练算力效率达到53.5%。

声明： 本网站原创内容，如需转载，请注明出处；本网站转载内容（文章、图片、视频等资料）的版权归原网站所有。如我们转载或使用了您的文章或图片等资料的，未能及时和您沟通确认的，请第一时间通知我们，以便我们第一时间采取相应措施，避免给双方造成不必要的经济损失或其他侵权责任。如您未通知我们，我们有权利免于承担任何责任。 我们的联系邮箱：news@cecb2b.com。