当前位置:首页 > 新闻资讯 > 正文内容

业界首个!腾讯混元上线一站式3D AI创作引擎

1月21日,腾讯混元宣布开源3D生成大模型2.0版本,并上线业界首个一站式3D内容AI创作平台——混元3D AI创作引擎。开发者可在GitHub、Hugging Face等技术社区下载混元3D 2.0模型,用户也可以直接在混元3D AI创作引擎上体验。对比1.0版本,2.0版本也依然同时支持文、图生3D的能力,并在生成效果上得到显著提升,在几何结构上更加精细,纹理色彩更加丰富。

据了解,3D AIGC技术快速迭代,3D技术应用落地进程也在不断加快,游戏制作、社交、电商广告、工业制造、具身智能、自动驾驶、AR/VR、三维打印等多个领域都积极应用AI能力辅助3D内容生产,如在游戏制作环节,快速生成高质量的游戏角色、道具、建筑等3D资产,提升游戏开发效率。面向UGC社交场景,创作个人3D形象、3D虚拟礼物等3D资产。面向电商广告场景,根据创意主题生成3D商品,帮助设计师和企业降本增效。面向工业生产、制造业场景,快速生成工业产品原型验证设计。此次混元3D生成大模型2.0的开源以及AI创作平台的上线,将进一步推动AIGC 3D的技术发展及产业应用落地。

业界首个一站式3D内容AI创作引擎,为各产业提升3D内容生产效率

其中,腾讯混元上线的3D AI创作引擎,是业界首个低门槛、一站式的3D内容AI创作平台,包含了基础模型生成、3D功能矩阵、3D编辑、3D生成工作流、创作素材库等多种功能。既支持大众爱好者生成UGC 3D内容,也助力游戏开发、设计建模等专业领域的3D生产管线,大幅提升3D内容创作效率,面向不同应用场景提供可低成本定制的解决方案。

在基础模型生成方面,创作引擎同时支持文生及图生3D。其中,输入中/英文提示词,描述主体内容、特征、风格等,就能快速生成4个高质量3D模型,同时,也支持上传单图即生成3D模型。效果上,可以选择不同纹理风格进行生成,同时支持PBR贴图,通过模拟物理特性可生成更逼真的材质贴图效果。

另外,创作引擎支持端到端低多边形模型生成,可根据物体复杂程度,自适应生成几百至数千面的三角面,生成结果可在低面片的基础上最大化体现模型细节,拓扑布线更加符合美术标准,更适用于游戏引擎模型渲染。



在3D功能矩阵方面,创作引擎涵盖了丰富的3D建模、编辑及驱动等能力,包括3D动画生成、3D纹理生成、草图生3D、3D人物生成、3D小游戏创作等。



其中,3D动画生成可以支持骨骼绑定和动作驱动,选择不同动作模板即可让创作的角色模型轻松动起来,同时支持选择不同角色模型素材或上传本地模型生成3D动画。在游戏开发、动画制作等应用中,3D角色骨骼驱动是实现角色动画表现的关键步骤。



3D纹理生成则针对白模及用户添加的模型,支持通过提示词或图像输入方式生成不同高清材质纹理,对不同类别3D模型一键换肤。



草图生3D则支持仅用一张简笔画完成3D内容创作。通过文字描述草图主体的类别、颜色等信息,将二维草图快速转换为高质量的3D模型。



3D人物生成仅需上传一张人物头像,选择不同主题类别的模板即可实现个性化的3D人物角色生成,实现个人UGC 3D形象定制。



首个支持端到端生成低多边形low-poly模型,可根据物体复杂程度,自适应生成几百至数千面的三角mesh,面数更低的同时可保证模型细节效果,用于游戏引擎渲染效果更佳。







3D小游戏创作支持上传一张头像并选择角色模板,一键生成个人专属IP角色的游戏动画视频,并能分享转发,让普通人也可以打造一款属于自己的3D小游戏。



值得一提的是, 混元3D AI创作引擎还支持设计3D生成工作流,呈现3D创作管线核心流程。通过模块化的节点设计搭建,帮助专业用户在游戏开发、动画制作等领域快速搭建3D生成工作流,其中包含3D角色生成与3D道具生成。用户仅需加载模板,根据个人需求输入提示词或上传图片,调整节点生成参数,即可一键生成具有特定风格和特征的3D资产,进一步降低专业用户使用门槛,大幅改进3D创作管线效率。



混元3D生成大模型2.0版本开源,几何结构与纹理色彩全面升级

混元3D生成大模型1.0在去年11月全面开源,是业界首个同时支持文字、图像生成3D的开源大模型。2.0版本也依然同时支持文、图生3D的能力,此外,通过将几何、纹理解耦生成,2.0版本还在生成效果上得到显著提升,在几何结构上更加精细,纹理色彩更加丰富。



3D生成模型主要包括几何和纹理生成两部分,其中,几何大模型专注于捕捉物体的形状、结构和空间关系,而纹理大模型则专注于颜色、细节和表面特征。这种专注性使得每个模型能在其领域内进行更深入的学习和优化,而几何与纹理解耦生成的方式,让整体生成能力达到更高上限,能够生成更为精细和真实的3D结果。


Hunyuan3D-2.0

几何大模型和纹理大模型各自表现优异。其中,几何大模型由Hunyuan3D-DiT模型和Hunyuan ShapeVAE组成,能实现超高精度的白模生成,几乎达到了设计师手工建模的水平。而纹理大模型Hunyuan3D-Paint采用多视图扩散生成的方案,可以基于用户输入的参考图像对生成的几何白模进行纹理贴图。不仅如此,还能支持对用户任意输入的几何模型进行任意文本或图像引导的纹理生成。

腾讯混元从定量和定性两个维度进行了评估。在收集的 In-the-wild 测试集上,对 3D 生成质量进行了定量评估。根据 CLIP Maximum Mean Discrepancy (CMMD)、Frechet Inception Distance (FID) 和 CLIP-score 指标,不论是端到端最终3D资产的质量,还是几何模型生成的几何结构以及纹理基模型生成纹理的质量,Hunyuan3D-2.0 的整体表现均优于当前业界包括闭源模型在内的最先进的模型。


整体模型比较


几何模型比较


纹理模型比较

在定性评估方面,从整体满意度、3D 物体质量和指令遵循三个维度进行用户主观评估,结果显示,Hunyuan3D-2.0 在生成质量上优于当前最先进的开源模型。


用户喜好打分


3D生成可视化比较


几何模型生成可视化比较


纹理结果生成可视化比较

据了解,在实际应用上,混元 3D 生成大模型此前也已经开始应用于UGC 3D创作、商品素材合成、游戏3D资产生成等司内业务及场景。比如,混元3D生成能力也开始应用于腾讯内部游戏业务,其生成3D质量已能满足部分游戏3D资产标准,包括几何布线合理性、贴图准确性与骨骼蒙皮合理性等。据统计,通过混元3D创作平台的助力,游戏业务3D资产制作时间成本可从5-10天级别下降到分钟级。此前,腾讯地图也已基于腾讯混元3D大模型,发布了自定义3D导航车标功能,支持用户创作个性化的 3D 导航车标,相比传统的3D车标重建方案速度提升了91%,有效提升了用户使用体验。

腾讯混元3D负责人郭春超表示:“随着3D AIGC技术快速迭代,3D技术应用落地进程也在不断加快。混元3D生成大模型从1.0版本的率先开源,到快速升级2.0版本并开放业界首个一站式3D AI创作平台,希望切实帮助大众爱好者、开发者、创作者们降低使用门槛,提升创作效率,让3D大模型技术在各行各业发挥价值。混元也会持续为开源社区贡献力量,一起探索3D生成技术和应用,共创良好生态。”

扫描二维码推送至手机访问。

版权声明:本文由0538资讯网整理发布,内容均来自互联网,如有侵权联系8641340@qq.com删除。

本文链接:https://www.0538ta.cn/post/84883.html

分享给朋友:

“业界首个!腾讯混元上线一站式3D AI创作引擎” 的相关文章

古装国剧出海数据亮眼,《长乐曲》“长乐美学”架起共鸣桥梁

古装国剧出海数据亮眼,《长乐曲》“长乐美学”架起共鸣桥梁

南都讯 记者蔡丽怡 实习生林敏倩 近年来,越来越多的古装国产剧“出海”引发海内外同频追剧热。借由精彩纷呈、设定各异的古装故事,向世界呈现出东方古典文化之美,成为激发海外观众了解中国传统文化兴趣的重要窗口。近日,由芒果TV、湖南卫视、芒果超媒出品的古装悬爱剧...

有报告显示:人工智能发展深圳位列全国第二

有报告显示:人工智能发展深圳位列全国第二

南都讯 记者张小玲 今日公布的“AI大模型对我国劳动力市场潜在影响研究:2024”显示,“人工智能发展指数”排名中,深圳位于全国第二,人工智能岗位数量、求职人数、相关专利申请数量,均位列全国的第二,在产业基础、技术创新、人才供给方面的优势突出。由北大国发...

中国消费者报:“三只羊”对商品产地玩文字游戏也是消费欺诈

中国消费者报:“三只羊”对商品产地玩文字游戏也是消费欺诈

近日,“三只羊”网红主播“疯狂小杨哥”在直播间宣传售卖的“香港美诚月饼”引发大量争议。“疯狂小杨哥”在直播间宣传售卖的“香港高端月饼”被曝在香港没有线下售卖点,且产地并非香港,其虽在香港注册了相关商标,但在香港无实体门店,实际运营方为广州公司。9月17日,合...

肇庆市9月份最新人事任免公布

肇庆市9月份最新人事任免公布

南都讯 记者蔡雯 据肇庆市人力资源和社会保障局9月10日消息,肇庆市人民政府任免工作人员如下:任命:罗盛斌任肇庆市科学技术局局长;宗亚峰任肇庆市人民政府副秘书长(保留正处级);罗萃华任肇庆市教育局副局长;赵廷奎任肇庆市城市管理和综合执法局副局长;植中伟任肇...

7人非法捕捞被抓获,放流7万余尾鱼苗修复生态

7人非法捕捞被抓获,放流7万余尾鱼苗修复生态

极目新闻记者 黄忠通讯员 贺兴近日,由十堰市郧阳区检察院提起公诉的兰某明等7人非法捕捞水产品刑事附带民事公益诉讼案,在郧阳区五峰乡南北峰村古麇广场公开开庭审理。人大代表、政协委员、人民监督员、益心为公志愿者、相关行政机关工作人员、附近村民等参加旁听庭审。随后...

暑热不退,桂花不开,秋风点秋香,或到国庆时

暑热不退,桂花不开,秋风点秋香,或到国庆时

极目新闻记者 陈希摄影记者 李辉广寒香一点,吹得满山开。今年中秋已过,可武汉的桂花仍很安静,没啥动静,均因秋老虎虎视眈眈,桂花想开但不敢开。唯盼秋风送凉点秋香,满城桂香或到国庆时。中秋已过桂花树却刚萌芽“去年中秋,武汉满城桂花飘香,我住的小区更是桂花压枝,而...

全国首例!偷运小乌龟,为何被追究刑责?

全国首例!偷运小乌龟,为何被追究刑责?

“偷运”上千只红耳彩龟,全国首例非法引进外来入侵物种刑事案件宣判外来入侵物种是世界公认的当地“生态杀手”。非法引进外来入侵物种,危害有多大?9月19日上午,广东省珠海市中级人民法院依法对全国首例非法引进外来入侵物种刑事案件一审公开宣判,以非法引进外来入侵物种...

美联储4年来首次大幅降息50个基点

美联储4年来首次大幅降息50个基点

  制图由腾讯元宝AI生成。   当地时间9月18日,美国联邦储备委员会宣布将联邦基金利率目标区间下调50个基点,降至4.75%至5.00%之间的水平。这也是2020年来美联储首次降息,标志着美联储由货币政策紧缩周期向宽松周期的转向。   那么,美联储缘何...

匈牙利:多瑙河水位上涨

匈牙利:多瑙河水位上涨

9月19日,在匈牙利首都布达佩斯,人们查看水位上涨的多瑙河。近日,匈牙利遭遇洪水侵袭,流经布达佩斯的多瑙河水位不断上涨。新华社发(弗尔季·奥蒂洛摄)9月19日,在匈牙利首都布达佩斯,多瑙河边的道路被洪水淹没。近日,匈牙利遭遇洪水侵袭,流经布达佩斯的多瑙河水位...

广州普惠性托育机构有新规!收费不超市场化价格80%

广州普惠性托育机构有新规!收费不超市场化价格80%

近日,广州市印发《广州市普惠性托育机构认定及资金补助管理办法(试行)》(下称《办法》),涵盖普惠性托育机构认定、收费、财政补助标准及申请流程、退出机制等方面内容,自2024年10月1日起实施,有效期3年。认定:每年9-10月份认定 有效期2年普惠托育服务是指...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。