智谱 AI 生成视频模型清影正式上线,C 端用户可体验 AI 文生视频、图生视频能力

aixo 2024-07-27 13:49:58
大模型 2024-07-27 13:49:58

科技日报记者 崔爽

7月26日,智谱AI CEO张鹏在智谱Open Day宣布,AI生成视频模型清影(Ying)正式上线智谱清言,生成6秒视频只需30秒时间。即日起所有C端用户,都能通过清影(Ying)体验到AI文生视频、图生视频能力。

用户输入一段文字后,可以选择自己想要生成的风格,包括卡通3D、黑白、油画、电影感等风格,配上清影自带的音乐,就生成了充满AI想象力的视频片段。除了文本生成视频,用户也可以使用图片生成视频,如表情包梗图、广告制作、剧情创作、短视频创作等。

Sora无疑带来AI大模型全新玩法,大模型可基于任意文字生成视频。在生成式视频模型的研发中, Law(尺寸定律,描述模型性能随模型规模的增长而改变的规律)继续在算法和数据两方面发挥作用。

张鹏认为,随着算法、数据不断迭代,相信 Law将继续发挥强有力作用。

据他介绍,本次清影(Ying)底座的视频生成模型是,它能将文本、时间、空间三个维度融合起来,参考了Sora的算法设计,它也是一个DiT(基于架构的扩散模型)架构,通过优化, 相比前代()推理速度提升了6倍。

张鹏坦言,目前模型探索仍处于初级阶段。从生成视频的效果看,模型在理解物理世界规律、镜头动作连贯性、生成内容时长等方面都有很大提升空间。模型本身也需要更具突破性的创新架构,从而可以更高效地压缩视频信息,更充分地融合文本和视频内容,生成更贴合用户需求、更具真实感的内容。

“我们将继续迭代,在后续版本中,陆续推出更高分辨率、更长时长的生成视频功能。”张鹏表示。

据了解,清影(Ying)研发得到北京市大力支持。海淀区作为智谱AI总部所在地,提供了产业投资、算力补贴、应用场景示范、人才等全方位支持。清影(Ying)的训练则依托亦庄高性能算力集群,未来也将应用于亦庄高精尖产业集群,形成大模型赋能实体经济的新业态。另外,公司作为合作伙伴参与了清影的技术研发过程,并致力于探索潜在应用场景。合作伙伴华策影视参与了模型共建。