Meta发布Llama 4模型：首次引入MoE架构显著提升AI效率与性能

Meta发布新成果

4月6日，最新消息显示，美国当地时间周六，Meta公司发布了其最新开源人工智能软件Llama 4的初步版本。在当前生成式人工智能竞争异常激烈的背景下，Meta此番动作无疑彰显了其在AI投资竞争中力争上游的决心。此次发布为人工智能领域注入了新活力，并引发了业界的广泛关注。

性能碾压同类

Meta公司公布，Llama 4在性能方面明显优于其他同类AI产品，被誉为“巨无霸”。这一模型有望成为“新型模型训练的基石”。Llama 4的参数总量达到4000亿，其中活跃参数仅为170亿。另一款参数量达2万亿的模型，其活跃参数更是高达2880亿。不过，该模型目前尚处于训练阶段，具体发布日期尚未明确。

超长上下文窗口

Llama 4具备卓越的上下文理解能力。其上下文窗口能容纳多达100万个token。Llama 4 Scout的处理能力更为强大，可处理高达1000万个token。这一容量相当于1500页或15000页的文本信息。值得注意的是，这些巨大的文本数据在一次输入/输出交互中即可得到高效处理。长上下文窗口的引入提升了其信息处理和理解能力，为不同应用场景提供了便利。

“专家混合”架构

Llama 4的三个模型均基于“专家混合”架构，该架构在先前模型发布时已广受认可。其核心是将众多“专家”型小模型整合为一个庞大的统一模型。这一设计旨在应对多样化的任务、领域以及不同媒体格式的处理需求。Llama 4模型由多个“专家”模型组成。在运行阶段，系统仅需启动与当前任务相契合的特定“专家”和一名“共享专家”以应对每个token。此设计显著增强了运行效率。

低成本高效率

Meta评估显示，Llama 4的推理费用在每百万token 0.19至0.49美元之间。这一价格基于3:1的输入输出比计算得出。与此相对，GPT-4o的推理成本约为每百万token 4.38美元。在成本方面，Llama 4明显更占优势。Llama 4可在配备英伟达H100 DGX的单台服务器上执行。此外，它具备分布式推理功能，确保了极致的工作效率。这一功能显著减少了推理的成本与时间延误。

专门训练方案

Meta致力于提升推理技能，为此特别为Llama 4设计了专门的训练方案。该方案采纳了MetaP这一新方法，该方法允许工程师在调整超参数后，将模型应用于多种规模和token类型，并保持模型行为的一致性。MetaP的创新之处在于，它能够利用小规模模型的实验结果来推断大规模模型的超参数，这一做法极大地提升了训练的效率。该模型搭载了32000颗GPU，采用了FP8精度的算法。其处理能力超越了30万亿个token，单张显卡的算力可达390。尽管Llama 4模型在性能上表现突出，但与同等参数规模的模型相较，其性能虽接近顶尖水平，却尚未完全刷新性能记录。

Meta公司发布的Llama 4模型受到业界广泛关注，其能否在AI领域占据领先地位尚存疑问。我们热切期待大家在评论区分享见解。此外，还请别忘了为本文点赞并推广。