12月3日,备受外界重视的腾讯混元大模型发布最新进展:继年头文生文、文生图、3D生成之后,在2024年年尾正式上线视频生成才能。一起,腾讯宣告开源该视频生成大模型,参数量130亿,是当时最大的视频开源模型。
“用户只需输入一段描绘,即可生成视频。”腾讯混元相关负责人泄漏,现在生成视频支撑中英文双语输入、多种视频尺度以及多种视频清晰度。
该模型已上线腾讯元宝APP,用户可在AI运用中的“AI视频”板块请求试用。企业客户经过腾讯云供给服务接入,现在API同步敞开内测请求。
在与国表里多个顶尖模型的评测比照显现,混元视频生成模型在人物、人工场所等场景下体现尤为超卓。
比方,在冲浪、跳舞等大幅度运动画面的生成中,腾讯混元能够生成十分流通、合理的运动镜头,物体不易出现变形;光影反射根本契合物理规则,在镜面或许照镜子场景中,能做到镜面表里动作共同。一起,模型还能轻松完成在画面主角坚持不变的情况下主动切镜头,这是业界大部分模型所不具有的才能。
大模型视频开麦拉从波浪内部穿越而出,捕捉阳光透过海水的瞬间。水花在空中构成完美弧线,冲浪板划过水面留下轨道。最终定格在冲浪者穿越水帘的完美瞬间。
此外,混元的领先要源于其技术创新。其根据跟Sora相似的DiT架构,并在架构规划上进行多处晋级。混元视频生成模型适配了新一代文本编码器提高语义遵从,其具有强壮的语义跟从才能,更好地应对多个主体描绘,完成更详尽的指令和画面出现;选用共同的全注意力机制,使得每帧视频的联接更为流通,并能完成主体共同的多视角镜头切换;经过先进的图画视频混合VAE(3D 变分编码器),让模型在细节体现有显着提高,特别是小人脸、高速镜头号场景。
此外,腾讯混元视频生成模型画面具有高质感,可用于工业级商业场景例如广告宣传、动画制造、构思视频生成等场景。此前,《人民日报》、央视网、新华社、《羊城晚报》《南方都市报》等多家媒体,现已率先将腾讯混元视频生成才能用于构思视频制造,制造了多部优秀作品。
现在,腾讯宣告开源该视频生成大模型已在 Hugging Face 渠道及 Github 上发布,包括模型权重、推理代码、模型算法等完好模型,可供企业与个人开发者免费运用和开发生态插件。自年头以来,腾讯混元系列模型的开源速度不断加速。此前,腾讯混元现已开源了旗下文生文、文生图和3D生成大模型。
至此,腾讯混元系列大模型已完成全面开源。一起,国内6个大模型干流厂商,已有4家推出世视频才能的大模型。