Meta 称训练 Llama4 所需计算力将大幅增加,强调构建能力以免落后

aixo 2024-08-02 08:12:39
算力 2024-08-02 08:12:39

Meta 作为大型开源基础语言模型 Llama 的开发者,认为未来训练模型所需的计算力将大幅增加。

周二,在 Meta 的第二季度财报电话会议上,马克·扎克伯格透露,训练 所需的计算力将是训练 的10倍。他强调,即便如此,Meta 也要构建训练模型的能力,以免落后于竞争对手。

扎克伯格表示:“训练 所需的计算量可能几乎是训练 的10倍,而且未来的模型所需计算量还会继续增加。”他还指出,难以预测未来多代模型的发展趋势,但此刻宁愿提前建设所需能力,也不愿为时过晚,毕竟启动新的推理项目需要很长的准备时间。

今年4月,Meta 发布了拥有800亿参数的 。上周,该公司又发布了其升级版 .1405B,参数达到4050亿,成为 Meta 最大的开源模型。

Meta 的首席财务官苏珊·李也表示,公司正在考虑不同的数据中心项目,并为训练未来的 AI 模型建设能力。她称,Meta 预计这项投资将增加2025年的资本支出。

要知道,训练大型语言模型可是个烧钱的业务。2024年第二季度,Meta 的资本支出在服务器、数据中心和网络基础设施等方面的投资推动下,从一年前的64亿美元增加到85亿美元,增长近33%。

划重点:

Meta 训练 所需计算力约为训练 的10倍。

Meta 预计投资建设能力将增加2025年资本支出。

训练大型语言模型成本高昂,Meta 二季度资本支出大幅增长。

备注:资讯来源基地

副业搞钱交流群

欢迎大家加入交流群, 扫码进入,畅谈AI赚钱心得,共享最新行业动态,发现潜在合作伙伴,迎接未来的赚钱机遇!。