浪潮信息：实现服务器仅靠4颗CPU即可运行千亿参数大模型

7月29日消息，近日，浪潮信息的研发工程师基于2U4路旗舰通用服务器NF8260G7，采用张量并行、NF4模型量化等技术，实现了服务器仅依靠4颗CPU即可运行千亿参数 “源2.0” 大模型。

据悉，NF8260G7在2U空间搭载4颗32核英特尔至强处理器，主频2.4GHz，支持8个内存通道，3路UPI总线互联，采用32根32G的DDR5内存，内存容量1024GB，实测内存读带宽995GB/s，运行效率82.94%。

框架和算法方面，NF8260G7支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行开发工具，满足用户更成熟、易部署、更便捷的开放生态需求。

浪潮信息算法工程师还基于Yuan2.0千亿参数大模型的研发积累，为NF8260G7部署张量并行环境，提升4倍计算效率，并通过NF4等量化技术，将1026亿参数的Yuan2.0大模型容量缩小至1/4，首次实现单机通用服务器，即可运行千亿参数大模型，为千亿参数AI大模型在通用服务器的推理部署，提供了性能更强，成本更经济的选择。

据介绍，人工智能的发展，是算力、算法和数据三要素系统突破的结果。浪潮信息研发工程师基于通用服务器NF8260G7的软硬件协同创新，为千亿参数AI大模型在通用服务器的推理部署，提供了性能更强，成本更经济的选择，让AI大模型应用可以与云、大数据、数据库等应用能够实现更紧密的融合，从而充分释放人工智能在千行百业中的创新活力，推动社会和经济的发展。（定西）

本文来自本站科技报道，更多资讯和深度内容，关注我们。