Meta 视频生成之旅：从 Make-A-Scene 到 Movie Gen 的创新与突破

Meta 在博客中简单回顾了自己的视频生成之旅。他们的第一波生成式 AI 研究始于 Make-A-Scene 系列模型，这些模型可以生成图像、音频、视频和 3D 动画。

随着扩散模型的出现，他们又基于 Llama 基础模型做出了第二波研究，成功实现了更高质量的图像和视频生成以及图像编辑。

Movie Gen 则是 Meta 的第三波研究。他们将以上所有模态都组合到了一起，并能以前所未有的方式为用户提供进一步的细粒度控制。

下面详细介绍 Movie Gen 的各项能力。

视频生成

给定文本提示词，Movie Gen 会使用一个针对文生图和文生视频任务优化过的联合模型来创建高质量和高清晰度的图像和视频。这个 30B 参数的 模型有能力生成长度最多 16 秒帧率为 16 FPS 的视频。Meta 表示还发现这些模型可以推理物体运动、主客体交互和相机运动，并且它们还能学习各种概念的合理运动 —— 这也使它们成为了同类中的 SOTA 模型。

具体流程如下图所示，他们先通过一个时间自动编码器模型（TAE）训练了一个时空压缩的隐空间，然后再基于此训练了一个生成模型。

模型架构上，他们采用了 ，整体位于 Llama 3 的设计空间中。下表展示了其 30B 参数基础模型的各个超参数。值得注意的是，这里的 30B 参数指的是 本身的参数量，并不包含文本嵌入模型、TAE 等。

为了训练这个模型，Meta 使用了多达 6144 台 H100 GPU，每一台的热设计功耗为 700W，并且都配备了 80GB 的 HBM3。

下图展示了 Movie Gen 骨干网络的整体结构以及所使用的模型并行化机制。具体来说包括张量并行化（TP））、序列并行化（SP）、上下文并行化（CP）和全共享式数据并行（FSDP）。

训练流程上，他们采用了一种多阶段训练方法，该方法分为三个阶段：

在文生图（T2I）任务上进行初始训练，之后再在文生图和文生视频（T2V）任务上进行联合训练；

逐步从低分辨率 256 像素的数据扩展成 768 像素的高分辨率数据；

在计算和时间限制上，使用改进过的数据集和已优化的训练方法进行持续训练。

之后自然也会执行微调。

而在推理阶段，Meta 的一个创新思路是首先使用 Llama 3 对用户输入的提示词进行重写，将其扩展成更加详细的版本。实践表明该方法确实有助于提升生成结果的质量。此外，Meta 还在提升推理效率方面引入了一些新思路。

效果上，下表展示了 Movie Gen Video 模型与之前相关研究的胜率情况。注意这里的数值是 Movie Gen 的获胜百分比减去落败百分比，因此可知 Movie Gen 的整体表现胜过之前的模型。

个性化视频

基于上述基础模型，Meta 还开发出了个性化视频功能。用户只需提供人物图像输入和对应的文本提示词，就能生成包含该人物以及文本描述的细节的视频。Meta 表示 Movie Gen 生成的个性化视频在保留人类身份和运动方面做到了 SOTA。

下图展示了个性化 Movie Gen Video 模型（PT2V）的架构和推理流程。

具体来说，首先使用 Movie Gen Video 模型的权重对该模型进行初始化，然后添加额外的可学习参数来基于参考图像实现条件化编辑。

训练过程先是进行预训练（分为身份注入、长视频生成、提升自然度三个阶段），然后执行监督式微调。

结果上看，在经过微调之后，PT2V 模型在身份和人脸一致性上的表现都相当卓越。

下图展示了两个与 ID- 的对比示例：

精确的视频编辑

还是基于同样的基础模型，Meta 也做出了视频编辑功能，并且可以做到非常精确的编辑 —— 可仅操作相关像素！具体来说，给定一段视频和文本提示词，模型可以生成符合要求的经过修改的输出，其中包括一些非常高阶的编辑功能，比如添加、移除和替换元素，修改背景和风格等全局要素。

如果后面实际效果真如 Meta 描述那么好，那么这项功能可能会成为一大利器。

为了做到这一点，Meta 团队同样采用了一种多阶段方法：首先执行单帧编辑，然后进行多帧编辑，之后再整体编辑视频。

为此，他们对前述的视频生成模型进行了一番修改。首先，通过向图块嵌入工具添加额外的输入通道而实现了对输入视频的调节，从而可沿通道维度将隐含的视频输入与有噪声的输出隐视频连接起来，并将连接后的隐视频提供给模型。

此外，按照 Emu Edit 的做法，他们还加入了对特定编辑任务（例如添加对象、更改背景等）的支持。具体来说，该模型会对每个任务学习一个任务嵌入向量。对于给定的任务，模型对相应的任务嵌入应用线性变换，产生四个嵌入，这些嵌入与文本编码器的隐藏表示连接在一起。我们还对任务嵌入应用了第二个线性变换，并将得到的向量添加到时间步嵌入中。另外，为了完全保留模型的视频生成功能，他们将所有新添加的权重设置为零，并基于预训练的文生视频模型初始化剩余的权重。

该方法的效果非常显著，在两个数据集上的人类和自动评估结果基本都优于其它对比方法。顺带一提，Movie Gen Edit Bench 是 Meta 提出的一个新基准，用于评估「下一代视频编辑模型的视频编辑能力」。

音频生成

此外，他们还训练了一个 13B 参数的音频生成模型 Movie Gen Audio。该模型可以基于视频和可选的文本提示词生成长达 45 秒的高质量高保真音频，包括环境声音、音效（Foley）和背景音乐 —— 所有这些都与视频内容同步。

下面是 Movie Gen Audio 的模型示意图，可以看到其采用了基于流匹配（flow- 生成模型和扩散 （DiT）的模型架构。此外，还添加了一些条件化模块来实现对模型的控制。

此外，他们还提出了一种音频扩展技术，可以为任意长度的视频生成连贯的音频。下面是该技术的示意图。其目标是一次生成 30 秒长度的音频，然后利用该扩展延展至任意长度。

总体而言，他们在音频质量、视频到音频对齐和文本到音频对齐方面实现了 SOTA。

结语

Meta 在架构、训练目标、数据处理方法、评估协议和推理优化等多个技术方面做出了创新突破。下图展示了 Movie Gen 四项能力的人类 A/B 评估对比结果。正净胜率表示人类相较于其他行业模型，更加偏爱 Movie Gen。

Meta 这一次展示自己在视频生成方面的研究成果确实出人意料，这也使其成为了这片越来越拥挤的战场的又一强力竞争者，并且我们也还不清楚 Meta 是否会像发布 Llama 系列模型那样完全免费发布 Movie Gen，让自己在真・ 之路上继续前进。总之，网友们已经在期待了。

最后，例行惯例，还是得向 问一句：Sora？

© THE END