小型语言模型崛起，挑战越大越好观念，微软、英伟达发布最新模型

每经记者 文巧每经实习记者 岳楚鹏每经编辑 高涵

在人工智能发展的道路上，科技巨头们曾经竞相开发规模庞大的语言模型，但如今出现了一种新趋势：小型语言模型（SLM）正逐渐崭露头角，挑战着过去“越大越好”的观念。

当地时间8月21日，微软和英伟达相继发布了最新的小型语言模型——Phi-3.5-mini-和-NeMo- 8B。这两款模型的主要卖点是它们在计算资源使用和功能表现之间实现了良好的平衡。在某些方面，它们的性能甚至可以媲美大型模型。

人工智能初创公司 Face的首席执行官Clem 指出，高达99%的使用场景可以通过SLM来解决，并预测2024年将成为SLM之年。据不完全统计，包括Meta、微软、谷歌在内的科技巨头们今年已经发布了九款小型模型。

大模型训练成本攀升，性能提升却有限

SLM的崛起并非偶然，而是与大模型（LLM）在性能提升与资源消耗方面的挑战密切相关。

AI初创公司和 Face今年四月份发布的性能比较表明，LLM之间的性能差距正在迅速缩小，特别是在多项选择题、推理和数学问题等特定任务中，顶级模型之间的差异极小。例如，在多项选择题中， 3 Opus、GPT-4和 Ultra的得分均超过83%，而在推理任务中， 3 Opus、GPT-4和 1.5 Pro的准确率均超过92%。

Uber AI 前负责人Gary 指出，LLM的最新研究论文都指向同一个方向，十几个LLM都与GPT-4在一个领域，“其中一些性能比GPT-4略好一些，但并没有质的飞跃。我想每个人都会说GPT-4比GPT-3.5领先了一步，但此后的一年多没有任何质的飞跃。”

与有限的性能提升相比，LLM的训练成本却在不断攀升。训练这些模型需要海量数据和数以亿计甚至万亿个参数，导致了极高的资源消耗。训练和运行LLM所需的计算能力和能源消耗令人咋舌，这使得小型组织或个人难以参与核心LLM开发。

国际能源署估计，数据中心、加密货币和人工智能相关的电力消耗到2026年，会大致相当于日本全国的用电量。

首席执行官Sam 曾在麻省理工学院的一次活动上表示，训练GPT-4的成本至少为1亿美元，而首席执行官Dario 预测，未来训练模型的成本可能达到1000亿美元。

此外，使用LLM所需的工具和技术的复杂性也增加了开发人员的学习曲线。从训练到部署，整个过程耗时漫长，减缓了开发速度。剑桥大学的一项研究显示，公司可能需要90天或更长时间才能部署一个机器学习模型。

LLM的另一个重大问题是容易产生“幻觉”——即模型生成的输出看似合理，但实际上并不正确。这是由于LLM的训练方式是根据数据中的模式预测下一个最可能的单词，而非真正理解信息。因此，LLM可能会自信地生成虚假陈述、编造事实或以荒谬的方式组合不相关的概念。如何检测和减少这些“幻觉”是开发可靠且可信赖语言模型的持续挑战。