最新要闻
- 单卡30秒跑出虚拟3D仙女老婆!毛孔细节清晰
- 女子退货8600元鞋被拒收:退回后鞋出现磨损
- 杭州现不定价咖啡店 营业首日卖400杯亏3500元!创始人回应|微头条
- 每日速看!gai周延参加的综艺有哪些_周延gai百度百科
- 特斯拉晒美国电价/油价:每天开电车50公里 一月省700块 天天观热点
- 盗版大神正式出手破解《生化危机4重制版》:Denuvo加密沦陷|当前快报
- 每日焦点!《生化危机4:重置版》碍事梨演员再发cos照:里昂救救我!
- 焦点热讯:首发2亿单镜变焦相机!真我11 Pro+图赏
- Win10杀软大PK:Defender拿了个倒数第一_焦点速看
- 泉州市丰泽区东海东宝工业区改造征迁工作指挥部正式揭牌成立
- 无锡阳山桃花源景区可以摘桃子吗_天天速看料
- 环球焦点!因不富裕 《王国之泪》粉丝攒钱6年才买到Switch
- 杀疯了!理想汽车公布2023年第一季度财报:营收、交付等多项数据历史最好
- 男子暴雨天救助流浪猫 专家确认:国家二级保护动物
- 四月厂商销量榜:国产车强势爆发 前五占三席
- 散片便宜300元!但还是劝你买盒装CPU|世界动态
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
单卡30秒跑出虚拟3D仙女老婆!毛孔细节清晰
ChatGPT给AI行业注入一剂鸡血,一切曾经的不敢想,都成为如今的基操。
正持续进击的Text-to-3D,就被视为继Diffusion(图像)和GPT(文字)后,AIGC领域的下一个前沿热点,得到了前所未有的关注度。
这不,一款名为ChatAvatar的产品低调公测,火速收揽超70万浏览与关注,并登上抱抱脸周热门(Spaces of the week)。
(相关资料图)
△ChatAvatar也将支持从AI生成的单视角/多视角原画生成3D风格化角色的Image to 3D技术,受到了广泛关注
现行beta版本生成的3D模型,能够直接连同PBR材质下载到本地。不仅效果不错,更重要的是免费可玩。有网友惊呼:
有够酷的,感觉能很便捷地生成自己的数字孪生了。
由此吸引不少网友纷纷试用并贡献脑洞。有人拿这款产品和ControlNet结合,发现效果细腻写实到有些出乎意料。
这款使用起来几乎零门槛的Text-to-3D工具名叫ChatAvatar,由国内AI初创公司影眸科技团队打造。
据了解,这是全球首款Production-Ready的Text to 3D产品,通过简单的文本,例如一个明星的名字、或是某个想要的人物长相,就能生成影视级的3D超写实数字人资产。
效率也非常高,平均仅需30秒,就能做出一张以假乱真的脸——甚至是你自己的。
未来,生成领域还将拓展到其他三维资产。
并且该模型带有规整的拓扑、带有4k分辨率的PBR材质,同时带有绑定,可以直接接入Unity、Unreal Engine和Maya等制作引擎的生产管线中。
所以,ChatAvatar到底是怎样一个3D生成工具?背后究竟用到了什么技术?
30秒完成一次“画皮”
亲身体验ChatAvatar的玩法发现,可以说是真·零门槛。
具体而言,只需以对话的形式,在官网上用大白话向ChatBot描述自己的需求,就能按需生成3D人脸,并覆盖一张贴合模型的真实“人皮”。
对话全流程里,根据用户需求,ChatBot会进行引导,尽可能细节地了解用户对所需模型的想法。
体验过程中,我们向ChatBot描述了这样一个想要生成的3D形象:
点击左侧的Generate按钮,平均10s不到,屏幕上就出现根据描述生成的9种不同3D人脸的初始雏形。
随意选择其中一种后,会基于选择继续优化模型和材质,最后出现覆盖皮肤后的模型渲结果,并展现不同光影下的渲染效果——这些渲染在浏览器内实时完成:
用鼠标拖动,还能旋转头部,并放大看更细节的局部效果,毛孔和痘痘都清晰可见:
值得一提的是,如果用户是个提示工程高手,直接在左侧框中输入prompt,同样可以完成生成。
最后,一键下载,就能获得一个可直接接入制作引擎并被驱动的3D数字头部资产:
虽然beta版本还没上线发型功能,但整体而言,最后生成的3D数字人资产与描述内容已经有高匹配度。
官网上还陈列了许多ChatAvatar用户的生成资产,不同人种、不同肤色、不同年龄,喜怒哀乐,美丑胖瘦,各式相貌应有尽有。
总结一下ChatAvatar这款产品生成3D数字人资产的效果亮点:
首先是使用简便;其次是生成跨度大,且五官可改,还能生成与面部贴合的面具、纹身等,譬如这样:
根据官方宣传片介绍,ChatAvatar甚至可以进一步生成超出人类范畴的角色,如阿凡达等影视作品中的角色:
最重要的是,ChatAvatar解决了3D模型与传统渲染软件存在的兼容性问题。
这意味着,ChatAvatar生成的3D资产可以直接接入游戏和影视生产流程。
当然,在正式接入工业流程之前,首轮公测,ChatAvatar已经吸引了数千名艺术家和专业美术人员参与,推特相关话题受到近百万的浏览与关注。
随随便便一条推文,浏览量都能破50k。
积攒了大批“自来水”不是没有原因,看看3D的爱因斯坦之脸,试问谁不说一句真的很像?
要是和ControlNet结合,生成效果不亚于单反相片直出:
已经有不少用户体验后,开始畅想将这个Text-to-3D工具大规模应用在游戏、影视等工业应用上了。
据了解,用户反馈会成为ChatAvatar团队快速迭代和更新的重要依据,形成数据飞轮,以便及时提供更加完整和贴近需求的功能。
事实上,对于此前的3D行业设计师或公司来说,大部分AI文字转3D应用并非效果不好,但实际落地到工业设计流程上,还是有不少难度。
这次ChatAvatar能如此出圈,背后究竟有什么技术上的原因?
符合产业要求的3D资产生成,究竟难在哪?
都说AI要替代人类,事实上仅仅就Text-to-3D领域,就并非那么容易替代。
最大的难点,在于让AI生成的东西从标准上符合产业对3D资产的要求。
这里面的产业标准怎么理解?从专业3D美工设计的视角来说,至少有三个方面——
质量、可控性和生成速度。
首先是质量。尤其是对于强调视觉效果的影视、游戏行业来说,要想生成符合管线要求的3D资产,拓扑规整度、纹理贴图的精度等“行业潜规则”,都是AI产品第一道必须迈过去的坎。
以拓扑结构的规整度为例,这里本质上指的是3D资产布线的合理度。
对于3D资产来说,拓扑的规整度,往往直接影响物体的动画效果、修改处理效率和贴图绘制速度:
据行内3D美工设计介绍,手工重拓扑的时间成本往往比制作3D模型本身更高,甚至按倍数以计。这意味着即使AI模型生成的3D资产再炫酷,如果生成的拓扑规整度达不到要求,成本就无法从根本上得到降低。更别提纹理精度。
△影眸科技的ChatAvatar项目在生成质量、速度以及标准兼容上相比先前的工作都有明显的提升
以目前游戏、影视行业普遍要求的PBR贴图为例,包含的反射率贴图、法线贴图等一系列贴图,相当于2D图像PSD文件的“图层”,是3D资产流水线生产必不可少的条件之一。
然而,目前AI生成的3D资产往往是一个“整体”,少有能按要求单独生成符合产业环境的PBR贴图的效果。
其次是可控性,对于生成式AI而言,如何让生成的内容更加“可控”,是CG产业对于这项技术提出的又一大要求。
以大众所熟知的2D产业为例,在ControlNet出现之前,2D AIGC行业一直处在一种“半摸黑前进”的状态。
也就是说,AI能生成指定类别的物体画面,却无法生成指定姿态的物体,生成效果全靠提示工程和“玄学”。
而在ControlNet出现后,2D AI图像生成的可控性获得了突飞猛进的提升,然而对于3D AI而言,要想生成对应效果的资产,很大程度上依旧得依靠专业的提示工程。
最后是生成速度。相比3D美工设计而言,AI生成的优势在于速度,然而如果AI渲染的速度和效果无法与人工匹敌的话,那么这项技术依旧无法给产业带来收益。
以当前在AI技术上颇受欢迎的NeRF为例,其产业化落地就面临速度和质量的兼容性难题。
在生成质量较高的情况下,基于NeRF的3D生成往往需要相当漫长的时间;然而如果追求速度,即使是NeRF生成的3D资产便完全无法投入产业使用。
但即使解决了这个问题,如何在不损失精度的前提下让NeRF与传统CG行业的主流引擎兼容仍然是一个巨大的问题。
从上面的产业标准化流程不难发现,大部分AI文本转3D应用落地存在两大瓶颈:
一个是需要手动完成提示工程,对于非AI专业人士、或不了解AI的设计师来说不够友好;另一个是生成的3D资产往往不符合产业标准,即使再好看也无法投入使用。
针对这两点,ChatAvatar给出了两点具体有效的解决方案。
一方面,ChatAvatar实现了除手动输入提示工程外的第二条道路,也是更适合普通人的一条捷径:通过“甲方模式”直接对话描述需求。
团队官方推特介绍称,为了实现这一特性,ChatAvatar基于GPT的能力,开发了一种对话描述转人像特征的方法。
设计师只需要不断和GPT聊天,描述自己想要的“感觉”:
GPT就能自动帮忙完成提示工程,将结果输送给AI:
换而言之,如果说ControlNet是2D行业的“Game Changer”,那么对于3D产业来说,能实现文本转3D的ChatAvatar,无异于行业的游戏规则改变者。
另一方面更为重要,那就是ChatAvatar能完美兼容CG管线,即生成的资产在拓扑结构、可控性和速度上都符合产业要求。
这不仅意味着生成3D资产之后,下载的内容可以直接导入各种后期制作软件进行二次编辑,可控性更强;
同时,生成的模型和高精度材质贴图,还能在后期的渲染中达到极为逼真的渲染效果。
为了实现这样的效果,团队为ChatAvatar自研了一个渐进式3D生成框架DreamFace。
其中的关键,在于训练该模型用的底层数据,即影眸科技基于“穹顶光场”采集到的世界首个大体量、高精度、多表情的人脸高精度数据集。
基于这个数据集,DreamFace可以高效地完成产品级三维资产的生成,即生成的资产带有规整的拓扑、材质,带有绑定。
DreamFace主要包括三个模块:几何体生成,基于物理的材质扩散和动画能力生成。
通过引入外部3D数据库,DreamFace能够直接输出符合CG流程的资产。
上述两大技术瓶颈的解决,本质上进一步加速了AIGC洪流下,“生成”将取代“搜索”的时代趋势——
影眸团队认为,“生成”将成为新一代数字资产的获取方式。
此前,我们需要找到一张符合需求的图片或者资产时,通常会使用搜索引擎进行查询。
ChatAvatar项目主页上展示的巨大的“搜索框”和整齐的资产卡片,看似搜索引擎,但实际上是一种与搜索截然不同的资产查找方式。
影眸科技CTO张启煊对此介绍:
以前,如果我们需要一张插图,可能要在多个图库中反复搜索,或是通过Photoshop合成、手绘等较复杂的方式才能得到结果。但在Stable Diffusion等技术出现后,你只需要通过文字描述想要的图像,就能直接生成符合需求的结果。
这对于传统的资产库来说是一个巨大的冲击。而ChatAvatar的目标,正是用3D生成替代传统的搜索式3D资产库。
AIGC领域的下一个前沿热点
ChatGPT一石激起千层浪,进入AI 2.0时代之后,人们的目光也投向包含图像、视频、3D等信息的多模态AI。
仅就3D生成领域而言,无论是影视还是游戏行业,3D内容生产和消费市场已经拥有足够大的规模,但在制作层面却因技术难度遭遇掣肘。
譬如,文本领域大行其道的Transformer,在3D生成领域的使用还相对有限。
去年夏天,当文生图领域因Diffusion Model取得成绩后,人们开始期待文字生成3D有同样惊艳的表现。一旦生成式AI的3D创作技术成熟,VR、视频等的内容创作都将起飞。
△扩散模型Midjourney5.1生成的“梵高风摄影”
事实上,无论是科技巨头还是初创公司,的确都在朝Text-to-3D这个方向暗暗发力。
去年9月,谷歌发布了基于文本提示生成3D模型的FreamFusion,声称不需要3D训练数据,也不需要修改图像扩散模型。紧随其后,Meta也推出可以从文本一键生成视频的Make-A-Video模型。
后来的Text-to-3D的AI模型队伍中,还先后出现了英伟达Magic3D、OpenAI最新开源项目Shap-E等,今年8月将举办的计算机图形顶会SIGGRAPH 2023所展示的论文,也有多篇与Text-to-3D有关。
影眸科技有关文本指导的渐进式3D生成框架DreamFace的论文,就是其中之一。
而ChatAvatar,也是目前为止最集中在3D数字人资产方向的生成式模型产品。
其背后的AI初创公司影眸科技,2020年孵化自上海科技大学MARS实验室,成立后获得奇绩创坛与红杉种子的两轮投资。
公司专注于专注于计算机图形学、生成式AI的研究与产品化。2021年,AIGC还未掀起巨浪之时,公司就已经推出国内首个AIGC ToC绘画应用Wand,产品一度登顶AppStore分区榜首。
而这个颇具前瞻性,且已在业内小有名气的团队,平均年龄只有25岁。
将首个商业化场景具体锚定在数字人后,ChatAvatar是他们乘AIGC东风在该方向的最新进展。
作为一个新推出的产品,ChatAvatar在兼容性、完成度和精度等产品效果层面,都超出了影眸团队预期。然而在吴迪口中,行至此处的过程“很狼狈”。
主要原因不外乎“缺人”一事。目前,影眸已经在多类别3D生成技术上取得了进展,下一步还计划推出“3D生成大模型”。
△影眸科技将于5月上线首个多模态跨平台3D搜索引擎Rodin,打通Sketchfab等多个3D资产平台,支持以文搜3D、以图搜3D甚至以3D搜3D。搜索引擎只是Rodin的初级形态,影眸将把Rodin打造为3D生成大模型。
需要持续向前推进,就需要更多的工程化团队、技术美术和拥抱生成式AI的产品人才加入团队。作为一个以研发为背景主基调的团队,这样的人才仍然紧缺。
“人是万物的尺度,”吴迪表示道,“我们需要更多志同道合的人加入,共同推动3D领域的创新发展。”
可以看到,ChatAvatar背后技术从无到有的搭建,揭示了一家AI初创公司的不断创新;而从这家公司对人才的渴望以小见大,更揭示着AIGC浪潮下,每一个细分领域想要从水下浮出水面的心。
你愿意拥抱生成式AI,成为Text-to-3D领域的Game Changer吗?
关键词:
单卡30秒跑出虚拟3D仙女老婆!毛孔细节清晰
女子退货8600元鞋被拒收:退回后鞋出现磨损
杭州现不定价咖啡店 营业首日卖400杯亏3500元!创始人回应|微头条
每日聚焦:Python中的交互库-os库
IPS 和 IDS_观热点
每日速看!gai周延参加的综艺有哪些_周延gai百度百科
特斯拉晒美国电价/油价:每天开电车50公里 一月省700块 天天观热点
盗版大神正式出手破解《生化危机4重制版》:Denuvo加密沦陷|当前快报
每日焦点!《生化危机4:重置版》碍事梨演员再发cos照:里昂救救我!
焦点热讯:首发2亿单镜变焦相机!真我11 Pro+图赏
Win10杀软大PK:Defender拿了个倒数第一_焦点速看
泉州市丰泽区东海东宝工业区改造征迁工作指挥部正式揭牌成立
如何衡量软件测试的绩效 环球速讯
无锡阳山桃花源景区可以摘桃子吗_天天速看料
环球焦点!因不富裕 《王国之泪》粉丝攒钱6年才买到Switch
杀疯了!理想汽车公布2023年第一季度财报:营收、交付等多项数据历史最好
男子暴雨天救助流浪猫 专家确认:国家二级保护动物
四月厂商销量榜:国产车强势爆发 前五占三席
散片便宜300元!但还是劝你买盒装CPU|世界动态
热资讯!华能水电:拟收购华能四川能源开发公司100%股权
AI别来搅局,chatGPT的世界不懂低代码 焦点要闻
观察:理想汽车:预计第二季度车辆交付量7.6万至8.1万辆
滚动:1999元起 真我11 Pro+发布:同价位中的2亿像素王
热点!432核心 25个人开发!欧洲自研CPU飞入太空
淘宝天猫历史最大投入618:今年推出直降专场 不用费劲凑单领券 焦点速递
环球观察:爸爸因无人回应退家族群 女儿发声:反而变热闹了
天玑9000性能满载!vivo Pad2评测:操控如PC般行云流水_今日聚焦
环球热消息:4月销量仅6658台!不降价的蔚来,终于把自己玩懵了?
[系统性能优化实践]JVM进阶实战之监控工具(Prometheus) 焦点速递
STM32【HAL库】使用外部SRAM程序
世界新资讯:如何通过appuploader把ipa文件上传到App Store教程步骤
【高端访谈】碳交易市场将如何影响化工行业?——专访全国化工节能(减排)中心秘书长张华
甘肃凉州:让非遗民俗文化“活起来”|观焦点
年度最火的KEEP动感单车免费得:连续88天打卡全额返 焦点速看
实时:可灭电火、油火 北大青鸟车载灭火器620ml 12.92元
真我史上最大底 真我11 Pro+搭载行业最高2亿像素传感器:挑战最强 每日热门
环球快资讯丨特斯拉要疯?向所有用户开放超充 车主拍手友商跺脚
首发2099元!九号电动V30C发布:50km续航、车架终身质保 当前热点
微软修复 Win10 / Win11 上 BlackLotus UEFI 漏洞
【天天报资讯】java读取文件——以自动贩卖机为例
天天热门:最佳软件测试基础入门教程1简介
环球视点!自建CA和公共CA有什么不同?
基于华为云图引擎GES,使用Cypher子查询进行图探索
每日消息!Vue2组件间通讯
每日快讯!【新华500】新华500指数(989001)10日收跌0.65%
当前热讯:成功展商要点——2023第十二届北京国际汽车制造业博览会
环球即时:传音Tecno Camon 20系列发布:五边形镜组极具辨识度
当前资讯!《斗罗大陆双神战双神》首个场景秀公开:虚幻5打造 画面逼真
这就很尴尬 男子高速电话指导女友开车 结果自己撞了
世界看点:4699元起 九号智能电动车小Q发布:新国标、能跑95km
一图看懂联发科旗舰新U天玑9200+:CPU/GPU性能提升10%、功耗更低了
环球看点!男童喉咙长菜花样肿块确诊感染HPV
今日看点:89.关于类的定义抽象数据类型
全球观速讯丨Mac系统,Qt工程转xcode工程,打包pkg
大幅提升前端工作效率!Numeral.js数值格式化库来了!
无需代码绘制人工神经网络ANN模型结构图的方法
2023年梅花金银兔纪念币价格(2023年05月10日)_世界快资讯
仅7999元!Redmi MAX 90英寸巨屏电视开售:百级分区、144Hz高刷 即时焦点
每日热议!亏电百公里油耗3.9升 比亚迪驱逐舰07申报:凯美瑞、雅阁瑟瑟发抖
保时捷718上新款 157.8万元起!真心无法抗拒 全球简讯
环球快看点丨悦达起亚被曝管理岗轮休 一休就一年!官方回应
中国电信在科技创新中加速释放消费活力 每日聚焦
每日播报!利用Appuploader上架IPA步骤
环球热文:代码随想录算法训练营第一天| 704. 二分查找、27. 移除元素。第一章 数组part01
黄道十二宫是什么意思?黄道十二宫是哪个文明首先提出的?
每日看点!98年浙大女学霸曾被视为格力接班人 孟羽童称靠别人永远不如靠自己
金锣玉米热狗香肠20袋到手19.9元:新鲜美味 当前短讯
热讯:为什么这届年轻人基本不走亲戚了?互联网“断亲”情况加剧:专家释疑
【环球新视野】西渝高铁最新进展!200余户已签协议
双商最高的四大星座是什么?十二星座的月份表
神话Eric的妻子是谁?神话Eric个人介绍
2011年快乐女声有哪些评委?2011届快女排名前十名
消失日晖打一字是什么?猜字谜游戏题目及答案
台电平板怎么刷机?台电平板android版如何获取root?
会声会影x4激活步骤是什么?会声会影x4激活代码
华硕f83v笔记本电池充电时橙色充电灯不停闪烁怎么解决?华硕f83v笔记本参数
三星笔记本r467怎么进bios设置u盘启动?三星笔记本r467参数
Vue 前端开发团队风格指南(史上最全)
Linux ARM架构_安装JDK8-银河麒麟V10 Kylin Linux-焦点速递
PSP上哪个火影的游戏最好玩?PSP经典游戏有哪些?
商家广告鼓励偷男友钱喝奶茶被罚 热消息
环球通讯!苹果推出iPad版Final Cut Pro与Logic pro:1个月免费试用
国人秒懂内涵 如何辨别在美国的中国人:看车牌 环球今头条
吸、扫、拖三合一!米家免洗扫拖机器人2正式开售:1999元
深圳一男子举牌相亲 月薪6千要求女方1万2:被路人质疑后神回应 世界热门
史诗级尴尬!马斯克驾驶Cybertruck结果趴窝:在农田里陷车
2023年社保缴费基数怎么调整?什么时候重新申报?_环球新资讯
环球新资讯:2分钟快速上手流水线的创建与运行
当前视讯!接单日记(三)文本处理之词云生成
今日热门!台式电脑有线网络怎么连接_有线网络怎么连接
华为将发布双旗舰笔记本 MateBook新品颜值、性能将迎全面升级
世界热点!任天堂Switch卖不动了?销量下降22% 还要再苟一年
首发9999元 小米电视ES Pro 90寸开售:1000nits高亮度
今日观点!希思黎京东官方自营旗舰店开业 打造全新高端奢护体验
环球今日报丨支持双枪快充!比亚迪赵长江:腾势N7制动距离“遥遥领先”
焦点热讯:首个“三体”线下项目《三体 · 引力之外》有啥不一样?
焦点热议:杭州:西湖景区莲花绽放 花朵水面摇曳身姿
全球即时看!科大智能参设新能源发展公司 经营范围含电池销售
今日快讯:3D建模师用AI把自己变美少女 大叔成偶像
理想老板怒斥媒体人:隔壁吉利的高管羡慕坏了