AI 大模型训练成本或高达 1000 亿美元,未来三年将如何发展?

aixo 2024-07-09 11:11:54
大模型 2024-07-09 11:11:54

IT之家 7 月 8 日消息,据 Tom's 今日报道,AI 初创公司 的首席执行官 Dario 近期接受播客节目采访时表示,目前像 GPT-4o 这样的模型训练成本约为 1 亿美元,而目前正在开发的 AI 大模型训练成本可能高达 10 亿美元(IT之家备注:当前约 72.94 亿元人民币)。

当然,10 亿美元还不是“终点”。Dario 作出预测,未来三年内,AI 大模型的训练成本将上升至 100 亿美元甚至 1000 亿美元(当前约 7294.28 亿元人民币)。

ANTHROPIC公司中文_Anthropic_ANTHROPIC公司中文名

Dario 还谈到了对通用人工智能(AGI)的看法:AGI“不会突然实现”,而是一个渐进的发展过程。新的模型建立在过去的模型的发展之上,就像人类孩童不断学习新知识。

报道称,若 AI 模型算力每年增长 10 倍,那么也可以据此推测训练模型所需的硬件也至少强大 10 倍。因此,硬件很可能是训练 AI 模型中最大的成本驱动因素。早在 2023 年, 就需要超过 30000 个 GPU,而 首席执行官阿尔特曼也曾证实,训练 GPT-4 的成本为 1 亿美元。

与此同时,马斯克也曾表达过想要购买 30 万个英伟达 B200 AI 芯片的欲望、 和微软也正计划建造一个价值 1000 亿美元的 AI 数据中心。