全球首个低碳单体稠密万亿语言模型 Tele-FLM-1T 在京发布

aixo 2024-06-15 11:14:00
服务器 2024-06-15 11:14:00

新华财经北京6月14日电(记者张漫子)6月14日,在京举办的2024北京智源大会开幕式上,全球首个低碳单体稠密万亿语言模型Tele-FLM-1T发布。

该模型由北京智源人工智能研究院与中国电信人工智能研究院联合研发并推出,基于模型生长和损失预测等关键技术,以普通训练方案9%的算力资源,达到GPT-4总体性能的80%。训练全程做到了零调整零重试,算力能效高、模型收敛性和稳定性好,提供了算力紧缺条件下有效的解决方案。

“当前,迭代中的语言大模型已具备一定的理解与推理能力,并形成了一条以语言大模型为核心、对齐并映射其他模态的技术路线,从而使模型具备了初步的多模态理解和生成能力。但这并不是人工智能感知和理解物理世界的终极技术路线。”北京智源人工智能研究院院长王仲远说,未来大模型将以数字智能体的形态与智能硬件融合,以具身智能形态由数字世界进入物理世界。

2024北京智源大会开幕式上,北京智源人工智能研究院还发布了通用语义向量模型BGE、原生多模态世界模型Emu3、轻量级图文多模态模型系列Bunny、全球首个端到端基于视频的多模态具身导航大模型NaVid等。

此次发布模型均基于支持异构AI芯片、面向超大规模智算集群的全栈软件。如同操作系统,集异构算力管理、算力自动迁移、并行训练优化、高性能算子于一体,用于应对集群内或集群间异构计算、高速互联、弹性稳定的技术挑战。