浪潮信息研发工程师实现 4 颗 CPU 运行千亿参数源 2.0 大模型
7月29日消息，近日，浪潮信息的研发工程师基于2U4路旗舰通用服务器，采用张量并行、NF4模型量化等技术，实现了服务器仅依靠4颗CPU即可运行千亿参数 “源2.0” 大模型。
据悉，在2U空间搭载4颗32核英特尔至强处理器，主频2.4GHz，支持8个内存通道，3路UPI总线互联，采用32根32G的DDR5内存，内存容量，实测内存读带宽995GB/s，运行效率82.94%。
框架和算法方面，支持、等主流AI框架和等流行开发工具，满足用户更成熟、易部署、更便捷的开放生态需求。
浪潮信息算法工程师还基于Yuan2.0千亿参数大模型的研发积累，为部署张量并行环境，提升4倍计算效率，并通过NF4等量化技术，将1026亿参数的Yuan2.0大模型容量缩小至1/4，首次实现单机通用服务器，即可运行千亿参数大模型，为千亿参数AI大模型在通用服务器的推理部署，提供了性能更强，成本更经济的选择。
据介绍，人工智能的发展，是算力、算法和数据三要素系统突破的结果。浪潮信息研发工程师基于通用服务器的软硬件协同创新，为千亿参数AI大模型在通用服务器的推理部署，提供了性能更强，成本更经济的选择，让AI大模型应用可以与云、大数据、数据库等应用能够实现更紧密的融合，从而充分释放人工智能在千行百业中的创新活力，推动社会和经济的发展。（定西）
