新加坡国立大学开发分布式长视频生成工具 Video-Infinity,快速高效免训练

aixo 2024-06-27 12:55:42
算力 2024-06-27 12:55:42

新加坡国立大学的 and Lab 团队最近开发了一款名为 Video- 的分布式长视频生成工具。该工具能够利用多个 GPU 快速生成长视频,无需对现有模型进行额外训练,每5分钟即可产生95秒长度的2300帧视频。

产品入口:

这款工具具有分布式、高速和免训练等特点,采用 conda 环境进行安装,使用简便。用户可以根据需要进行基本配置、流水线配置和 Video- 配置,以实现不同的视频生成需求。

同时,为了避免高频信息丢失,建议将本地上下文帧数量与 模型的全局上下文帧数量之和设置在24以下,以保持视频质量和稳定性。

通过对比实验结果,该技术不仅在视频帧数上具有明显优势,而且在时间成本上也表现出色。技术团队表示,他们的方法在8个 的支持下实现了这一成就,而且采用的采样步骤设置为30。

该技术的研究人员还进行了对抗实验,通过消融分析 Clip 和 Dual-scope 的效果,结果显示这两个因素对视频生成具有显著影响。此外,该技术还支持多个提示(Multi-),可以实现背景、风格和主题的平滑过渡,为视频生成提供了更多可能性。

划重点:

⭐️ 该技术能在5分钟内生成具有2300帧的视频,比先前方法快100倍;

⭐️ Clip 和 Dual-scope 对视频生成具有显著影响;

⭐️ 支持多个提示(Multi-),可以实现平滑过渡。

副业搞钱交流群

欢迎大家加入交流群, 扫码进入,畅谈AI赚钱心得,共享最新行业动态,发现潜在合作伙伴,迎接未来的赚钱机遇!。

GPU