OpenAI 推理算力惊人,ChatGPT 运行成本或高达 70 亿美元

aixo 2024-07-26 08:15:07
大模型 2024-07-26 08:15:07

IT之家 7 月 25 日消息,科技媒体 The 昨日(7 月 24 日)发布博文,爆料称 目前用于 AI 推理的算力,预估相当于 35 万台包含英伟达 A100 芯片的服务器,其中约 29 万台用于 ,而且近乎满负荷运行。

报道称截至今年 3 月, 公司花费近 40 亿美元使用微软服务器为 运行推理工作负载;此外 今年训练 以及新 AI 模型的成本预估达到 30 亿美元,因此训练和推理 AI 的成本可能达到 70 亿美元(IT之家备注:当前约 509.02 亿元人民币)。

无论是推理还是训练, 都能从 Azure 获得大幅折扣,微软向 每台 A100 服务器收取的费用约为每小时 1.30 美元,远远低于正常价格。

报道称 公司目前拥有约 1500 名员工,随着公司的不断发展,员工成本可能会达到 15 亿美元(当前约 109.08 亿元人民币)。

该公司每年从 中获得约 20 亿美元的收入,并可能从 LLMs 的收费访问中获得近 10 亿美元的收入。

最近每月的总收入为 2.83 亿美元,这可能意味着全年销售额在 35 亿至 45 亿美元之间。

这意味着 公司今年面临 50 亿美元的资金缺口,很可能需要在未来 12 个月内启动新一轮融资。