当前位置:首页 > 新闻资讯 > 正文内容

视频大模型卷开源,阿里云深夜开源万相模型,超越Sora?

七夏20小时前新闻资讯30

开源热潮卷到了视频大模型。2月25日晚,阿里云深夜抢先开源旗下视觉生成基座模型万相2.1(Wan)。2月18日,昆仑万维开源其旗下面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。近期“AI大模型六小龙”中一向低调的阶跃星辰官宣将在3月开源图生视频模型。 据悉,阿里云此次开源采用最宽松的Apache2.0协议,14B和1.3B两个参数规格的全部推理代码和权重全部开源,同时支持文生视频和图生视频任务,在权威测评中,万相2.1也已经超越了Sora、Luma、Pika等国内外模型。

超越Sora阿里云开源万相视频模型

2023年7月,通义万相图像生成大模型首次亮相。在2024年云栖大会上,阿里云CTO周靖人宣布通义万相全面升级,并发布全新视频生成模型,可生成影视级高清视频,应用于影视创作、动画设计、广告设计等领域。

早在今年1月,万相就宣布推出升级版2.1版本模型,其在视频生成、图像生成两大能力均有显著提升。据介绍,此次开源的14B万相模型在指令遵循、复杂运动生成、物理建模、文字视频生成等方面表现突出,在权威评测集VBench中,万相2.1以总分86.22%的成绩超越Sora、Luma、Pika等国内外模型。


万相2.1以总分86.22%的成绩居VBench榜单第一。

另外,万相模型1.3B版本测试结果不仅超过了更大尺寸的开源模型,甚至还接近部分闭源模型,同时能在消费级显卡运行,仅需8.2GB显存就可以生成高质量视频,适用于二次模型开发和学术研究。

在算法设计上,据悉万相基于主流DiT架构和线性噪声轨迹Flow Matching范式,研发了高效的因果3D VAE、可扩展的预训练策略等,目前万相大模型可以实现无限长1080P视频的高效编解码,另外该模型通过将空间降采样压缩提前,在不损失性能的情况下进一步减少了29%的推理时内存占用。

值得一提的是,在蛇年春晚上阿里云视觉生成基座模型万相已“小露一手”,比如在莫文蔚与毛不易合唱的《岁月里的花》节目中,阿里通义万相利用图像风格化和首尾帧视频生成技术,生成了沉浸式的油画风舞美效果。

万相团队的实验结果显示,在运动质量、视觉质量、风格和多目标等14个主要维度和26个子维度测试中,万相均达到了业界领先表现,并且斩获5项第一。根据阿里展示的案例,用户输入:“以红色新年宣纸为背景,出现一滴水墨,晕染墨汁缓缓晕染开来。文字的笔画边缘模糊且自然,随着晕染的进行,水墨在纸上呈现‘福’字,墨色从深到浅过渡,呈现出独特的东方韵味。背景高级简洁,杂志摄影感”的指令。



通义万相2.1模型可以根据要求,输出具有中国特色及浓郁的新年风格的视频素材,且该段视频素材中完整准确地将中文字“福”字呈现。南都记者以同样的提示词输入国内其他视频生成模型,尚未有效果更好的视频生成模型。

开源潮卷到视频生成大模型

由DeepSeek引发的开源热正在席卷行业。近期,百度宣布百度文心大模型4.5将开源,月之暗面也首次在其关于注意力机制的论文中公布了相关代码。自2月24日起,DeepSeek接连开源5天5个代码库,截至目前已发布涉及GPU使用场景的效率优化、用于MoE模型训练和推理的开源EP通信库等代码库。

在DeepSeek引发的开源潮下,近期不少厂商除了开源自己的基础大模型,也将开源的视野放在了难度更高的视频生成模型上。2月18日,昆仑万维开源其旗下面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。

其中,SkyReels-V1可实现影视级人物微表情表演生成,支持33种细腻人物表情与400+种自然动作组合,高度还原真人情感表达;另外昆仑万维还开源了SOTA级别的基于视频基座模型的表情动作可控算法SkyReels-A1,SkyReels-A1支持视频驱动的电影级表情捕捉,实现高保真微表情还原。


输入图片后基于SkyReels-A1生成的视频。

另外就在2月21日,在“AI大模型六小龙”中一向低调的阶跃星辰在上海举办首届Step UP生态开放日,阶跃星辰创始人、CEO姜大昕在大会上也官宣阶跃星辰将在3月份开源图生视频大模型。

采写:南都记者 林文琪

扫描二维码推送至手机访问。

版权声明:本文由0538资讯网整理发布,内容均来自互联网,如有侵权联系8641340@qq.com删除。

本文链接:https://www.0538ta.cn/post/92468.html

分享给朋友:

“视频大模型卷开源,阿里云深夜开源万相模型,超越Sora?” 的相关文章

高中生晚11点后上厕所算重大违纪,自费打印千份检讨?官方回应:退还100元,负责人作出深刻检查

高中生晚11点后上厕所算重大违纪,自费打印千份检讨?官方回应:退还100元,负责人作出深刻检查

近期,网传一名高一新生违纪被处理,引发网民关注。怀仁市教育局党组高度重视,立即成立调查组深入学校开展实地调查,现将核实情况说明如下:2024年9月10日怀仁云东中学一名高一新生因违反学校有关规定,被管理老师批评处理。经核查,事情发生的主要原因是校方在管理制度...

A股收评:沪指放量收涨0.69%,近4800只个股上涨

A股收评:沪指放量收涨0.69%,近4800只个股上涨

A股三大指数今日集体上涨,截至收盘,沪指涨0.69%,深成指涨1.19%,创业板指涨0.85%,北证50指数涨1.24%,沪深京三市成交额6294亿元,较上日放量1477亿元。两市近4800只个股上涨。板块题材上,白酒、乳业、食品加工制造等泛消费板块涨幅居前...

张弛:能让大家笑一笑,是我作为演员的使命

张弛:能让大家笑一笑,是我作为演员的使命

《柳舟记》播出后没多久,在剧中饰演赵泉的张弛就有了一个新的称号——内娱反套路第一人。作为男主崔行舟(张晚意 饰)身边的“最佳损友”,赵泉经常性输出诸如“你姓崔,家里行九,我不叫你崔九叫你张三吗”“把人忽悠得团团转,水仙花都没你能装蒜”等金句。更绝的是剧中赵泉...

又一申聪同案被拐儿童在河源被找到!其父曾称大海捞针也要找

又一申聪同案被拐儿童在河源被找到!其父曾称大海捞针也要找

申聪被拐案的同案被拐儿童钟彬找到了。9月19日,申聪的父亲申军良告诉南都记者,九月初,专案组人员告知钟彬的父亲钟丁酉,在广东河源紫金县发现一个高度疑似钟彬的孩子。“中秋节前两天做了DNA检测,确认是钟彬。”申军良还表示,目前同一个被拐案中的9个被拐孩子只剩欧...

《炉石传说》国服开放预下载,500万玩家预约能否带飞网易

《炉石传说》国服开放预下载,500万玩家预约能否带飞网易

9月19日,暴雪官网消息称,《炉石传说》国服PC端预下载现已开放。据悉,该游戏国服将于9月25日正式开服回归,游戏预约人数目前已突破500万人。根据此前消息,作为回归后的补偿,凡是在9月25日国服回归当日登录《炉石传说》的玩家,即可免费获赠2023年因停服而...

侦破生产假酒、假药案件!珠海打击食药环和知识产权领域犯罪

侦破生产假酒、假药案件!珠海打击食药环和知识产权领域犯罪

南都讯 记者从珠海市公安局获悉,今年以来,珠海公安以“昆仑行动”“夏季行动”等专项行动为牵引,加大破案攻坚力度,持续严厉打击环境资源、食品药品和知识产权领域犯罪活动,全力护航经济社会高质量发展和“绿美珠海”生态建设。其间,共侦破食品药品、生态环境和知识产权领...

一斤螃蟹半斤绳?男子60元买螃蟹20元是绳,下架整改!

一斤螃蟹半斤绳?男子60元买螃蟹20元是绳,下架整改!

秋风起,蟹脚痒;菊花开,闻蟹来。眼下正是螃蟹肉满膏肥之时,然而市民们在购买螃蟹时,总能发现螃蟹身上捆绑着重重绳索,或者装在很厚的塑料袋内,“一斤螃蟹半斤绳”现象常被消费者诟病。近日,广州市民王先生报料称,自己在超市花了60多元购买了两只“五花大绑蟹”,回家一...

黎巴嫩通信设备爆炸事件已致32人死亡 数千人受伤

黎巴嫩通信设备爆炸事件已致32人死亡 数千人受伤

总台记者获悉,当地时间19日,黎巴嫩公共卫生部长菲拉斯·阿卜亚德表示,17、18日在黎多地发生的通信设备爆炸事件已致32人死亡,数千人受伤。继17日黎巴嫩多地发生传呼机爆炸事件后,当地时间9月18日下午,黎巴嫩多地再次发生通信设备爆炸事件。(总台记者王寅)(...

巴布亚新几内亚附近海域发生5.5级地震,震源深度200千米

巴布亚新几内亚附近海域发生5.5级地震,震源深度200千米

央视网消息:据@中国地震台网速报微博消息,中国地震台网正式测定:09月19日16时40分在巴布亚新几内亚附近海域(南纬5.35度,东经147.55度)发生5.5级地震,震源深度200千米。(来源:央视网)...

默多克家族“继承之战”战火重燃:与三个子女对簿公堂,双方各自雇用“律师天团”,邓文迪的孩子未卷入

默多克家族“继承之战”战火重燃:与三个子女对簿公堂,双方各自雇用“律师天团”,邓文迪的孩子未卷入

本周,一场备受瞩目的继承之战在美国内华达州里诺市的一家法院打响,主角是93岁的传媒大亨默多克和他的3个孩子。这场官司之所以备受关注,不仅仅是因为牵扯到默多克家族150亿美元的财产,更是因为这是一场默多克媒体帝国的掌门之争,最终结果很可能影响到全球英语媒体舆论...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。