元宇宙的热潮,推动着各种虚拟数字人频繁出现在公众视野,在娱乐、社交、营销等领域发挥其价值。
在理解虚拟数字人时,需要对其词组进行拆分。
“虚拟”对应物理,强调展现形式,包括图片、视频、直播等方式存在于电子屏中,如APP、小程序、软硬一体显示设备。元宇宙下,VR设备与全息投影也将成为重要存在方式。
“数字”强调技术。虚拟数字人依托多项技术存在,包括建模驱动、视觉设计、语音识别、图像识别,以及多模态技术与深度学习等,相关技术成熟成为其发展重要推动力。
“人”指的是高度拟人化。外在上,虚拟数字人有着特定的五官、身高和体重,甚至能够被刻画出毛孔和细纹。内在上,虚拟数字人有比拟正常人的情商和三观,能够与人交流和互动。
综上,虚拟数字人指存在于非物理世界中,由计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等计算机手段创造及使用,并具有多重人类特征的综合产物。
但从虚拟数字人发展的历史看,“虚拟”、“数字”和“人”并非同步发展,技术是决定虚拟数字人的发展程度的核心因素。因此,本文将从技术维度,探讨虚拟数字人发展脉络。此前,零壹智库、01区块链联合《陆家嘴》杂志针对虚拟数字人发布了第一期“虚拟数字人TOP50排行榜”,也欢迎关注。
一、虚拟数字人的萌芽与初步发展
早在20世纪80年代,将虚拟人引入到现实世界的想法已经出现。
1982年,动画片《太空堡垒》中的女角色林明美作为虚拟歌姬出道,其专辑也成功打入当时的知名音乐排行榜。日本媒体率先提出了“虚拟偶像”的称号。
1984年,世界首位虚拟电影演员“MaxHeadroom”诞生,出演电影,并拍摄数支广告,在英国家喻户晓。
1998年,英国虚拟乐队Gorillaz出现,由主唱2-D、贝斯手MurdocNiccals、吉他手Noodle和鼓手RusselHobbs四位虚拟角色组成。
此时,虚拟人概念先行,给予虚拟形象以立体化人设,并带入大众视野。但受制于技术发展,“数字化”在这个阶段并不明显。打造虚拟人的技术以手工绘制为主,人物形象以2D卡通的形式展现,展现方式以事先完成的音频和视频为主,并不具备实时交互功能。
虚拟数字人发展提速 多家银行宣布“造人”:1月14日消息,当前,虚拟数字人风头正劲。近日,万科首位数字化员工“崔筱盼”获得“最佳新人”奖则成为业界关注话题。随后,北京冬奥会开幕式虚拟人、全息、AR等技术或大量运用的消息,更是引起业界广泛讨论。随着冬奥时间的临近,乘着元宇宙概念、虚拟数字人的火热,梳理发现,目前已有多家银行推出虚拟数字人,但其表现形式多以数字员工为主。例如,2021年年底,百信银行推出首位虚拟数字员工AIYA艾雅。(证券日报)[2022/1/14 8:48:24]
图:初代虚拟歌姬“林明美”
进入21世纪,虚拟人的数字化特征逐渐明显。
形象创建上,虚拟数字人开始从手绘转向CG和动作捕捉等计算机技术。
传统CG技术脱胎于游戏行业,主要基于专业CG软件进行相应的建模、动画制作和渲染等,可以从外形、表情到动作方面还原真人的影视级效果。
动作捕捉技术来源于电影工业,即通过红外线摄像机、动作分析系统,透过由受试者身上反光球执行反射回来的光线,将运用摄像机拍摄到的2D影像转换成3D资料。
2007年,日本虚拟歌手“初音未来”的诞生与流行成为虚拟数字人在该阶段最重要的里程碑。
初音未来的虚拟形象采用CG和动作捕捉技术。在动作捕捉技术的助力下,初音未来可以直接采用人类的表情和动作,借助CG技术,能够对动作捕捉生成的“人物骨骼”进行“无痕”对接。初音未来的一颦一笑都与人类更加接近。
作为虚拟歌姬,初音未来的歌喉基于VOCALOID。采样于日本声优藤田咲,创作者只需要输入歌词和旋律,就能够自动形成歌曲。在此基础上,制作方和粉丝为初音未来创作了超10万首歌曲,包括红遍大街小巷的《甩葱歌》等。
2010年3月9日,初音未来在日本举行名为初音未来日的感谢祭”“初音之日”(Miku'sDay),这是史上首场3D全息投影演唱会。全息影像成像面积超过15平,由4块全息投影膜拼接而成,并采用高流明的投影,配合三维动画内容投射到全息投影膜上。该技术“复活”了初音未来,其首次以3D形象现世。
山大地纬:正在进行聚焦“区块链虚拟数据人”布局:12月20日消息,山大地纬在回答投资者提问时表示,山大地纬把区块链定位于城市、行业、区域的数字化可信基础设施,结合多年来公司在政务信息化领域的业务实践,创新“还数于民、数随人走、跨域通办”的区块链应用模式,构建区块链“虚拟数据人”,也即与现实世界对应的数字孪生,以及逐步增加的数字原生,形成数字城市的底层支撑。根据业界的发展趋势,结合山大地纬在区块链的技术储备和政务服务领域的业务实践,山大地纬正在进行聚焦于“区块链虚拟数据人”和“可信虚拟服务大厅”的布局,在政务服务领域实践基础上拓展为可信虚拟现实服务,打造虚拟柜员、虚拟服务大厅,将线上环境打造的更加真实、便捷,体验也更好。(新浪财经)[2021/12/20 7:51:17]
图:初音未来感谢祭
从形象创建、演唱方式到互动形式,初音未来在“数字”上垮了一大步。诞生仅五年,其已经创下了超100亿日元的经济效益,正式了掀起虚拟偶像热潮。
在这个阶段,国内也诞生了虚拟偶像。2001年,中国首位虚拟少女“青娜诞生,以全数字、3D动画和动捕技术创建而成。2012年,洛天依的形象设计首次公布,至今成为中国最著名的虚拟偶像,并出现在春晚、奥运会开幕式上,成为真正的国产偶像。
二、2D转向3D,恐怖谷效应凸显
2016年,一位巴西和西班牙混血女孩LilMiquela引起大众热议。
健康的小麦色肤色、长着浓眉和雀斑、扎着标志性的丸子头和齐刘海,以及新锐潮流的穿搭、丰富的社交日常,LilMiquela很快在Instagram吸引大量粉丝。但其略带建模痕迹的照片引发了一场“真假辩论”。许多粉丝相信她是真实存在的人物,只是修图“狠”了点。直到黑客们入侵了她的账号,才最终确定了她是由3D电脑动画公司Modelingcafe制作的虚拟人。
安徽破获以虚拟数字货币增值为幌子网络案,涉案逾2亿元:据新华社合肥4月5日消息,近日,安徽省安庆市当地打掉一个特大网络犯罪团伙,该团伙在全国发展会员近2000人,涉案金额超过2亿元。经查,该犯罪团伙在互联网搭建“环球财富熊猫金元”网站,以提供虚拟数字货币增值服务为幌子,制定相关投资档次、奖励方式、提现规定,吸引社会公众投资加盟。该平台通过组建团队、聘请讲师、开设微信群等方式发展会员,招募会员近2000人,涉及安徽、湖南、浙江等多个省份。目前,包括孙某某在内的8名主要犯罪嫌疑人已被依法移送起诉,案件正在进一步侦办中。[2021/4/6 19:49:04]
LilMiquela具有非常强烈的性格特征。她用自己的实名账号,在网络上声援跨性别者平权,与LGBT群体站在同一战线,支持种族平等,还与虚拟人男友秀恩爱,并后来宣告分手。2018年,LilMiquela与特朗普、蕾哈娜等人一起被美国《时代》周刊列为“25位最有影响力的互联网人物”。
LilMiquela的出现让人直呼惊呆了,虚拟数字人再次受到了关注。不同于2D的动漫形象,3D拟人形象对面捕和身体建模对建模提出了更高要求,需要使用三维建模技术生成形象,信息维度增加,所需的计算量更大。此外,这个阶段虚拟数字人的个性特征凸显,通过在社交平台上发表自己的想法,逐渐具备社会影响力。
图:LilMiquela
随着3D拟人形象的出现,恐怖谷效应开始出现。
1970年,日本机器人专家森昌弘提出恐怖谷理论,由于机器人与人类在外表、动作上相似,所以人类会对机器人产生正面的情感。当机器人与人类的相似程度达到一个特定程度的时候,一点点的差别都会显得非常刺目,并带来负面和反感情绪。而当机器人与人类的相似度继续上升,人类对其情感会再度回到正面。
声音 | 华夏时报:东莞金融工作局提示风险,虚拟数字货币交易所面临优胜劣汰:11月13日,华夏时报刊文《东莞金融工作局提示风险 虚拟数字货币交易所面临优胜劣汰》。文章表示,但是随着疯狂炒作时代的远去,国家对虚拟数字货币炒作以及交易所的监管力度持续加强,一些山寨交易所的好日子也到头了。11月8日,广东省东莞市金融工作局、东莞市处置非法集资工作领导小组发布《关于防范以“虚拟货币”“区块链”等名义 进行非法集资的风险提示》,内地地方金融监管部门再度对虚拟数字货币市场释放监管信号。[2019/11/14]
虚拟人不仅需要以假乱真的建模技术,还需要在表情、动作以及交互能力上提升。
例如,当虚拟人面对镜头微笑,嘴角上翘的幅度、眉眼以及皮肉之间联动等细节都需要被照顾到。对于动态的拟人虚拟人来说,细节的不到位往往带来说不出的僵硬和古怪。因此,恐怖谷效应下,不仅建模技术需要实现拟真,在渲染和交互上也提出了更高要求。
渲染和交互能力是个“此消彼长”的过程。游戏中的角色更加强调交互能力,渲染出来的角色仿真性较差,而电影渲染出来的角色能够达到肉眼分不出真假的层次,但是不具备交互性。
2018年5月30日,腾讯对外公布了一个名为“Siren”的研究项目。这是由腾讯、EpicGames、CubicMotion和3Lateral企业合作打造的一个虚拟人物。不同于一般虚拟人,Siren在渲染的真实性和交互性之间找到平衡,打造了具备实时交互能力的数字虚拟人。
Siren的所有动作表情都由实时捕捉以及实时渲染形成。操作者需要将一套特制的设备戴在头上,这一设备会实时跟踪200多个面部特征点,再把这些特征点实时反映到系统构造的3D脸部模型上,最终呈现为以每秒60帧输出的动作表情。整个捕捉过程会在15毫秒内完成,基本不会有什么延迟。
腾讯区块链产品总经理:腾讯将在虚拟数字资产领域探索落地:腾讯区块链产品总经理蔡弋弋称,腾讯在ABS平台、虚拟数字资产等领域将持续探索落地。此外,蔡弋弋还表示,2018年腾讯会加大区块链结合供应链金融等方向的探索。[2018/2/28]
图:虚拟数字人Siren
2021年6月,由新华社、腾讯联合打造的全球首位数字航天员、数字记者“小诤”出现。小诤在不到3个月的时间被打造出来,相较Siren的制作周期缩短了一半。这依赖于一套高效人脸制作管线xFaceBuilder,通过将建模、绑定、动画等环节纳入平台并统一解法,大大缩短了制作的流程。
当然,从成本上来讲,虚拟数字人的成本支出非常大。例如团队在“小诤”脸上种了10万根面部汗毛,这对机能的消耗是极其庞大。高昂的建设成本使得虚拟数字人难以在商业领域大规模落地。
图:虚拟数字人“小诤”
三、AI技术的引用带来大规模商业化应用
随着虚拟数字人技术的发展,AI技术成为制作和驱动虚拟人重要的工具。AI技术的支持下,数字人制作过程得以简化,深度学习算法突破,提升虚拟人语音表达、语义理解以及对话等能力。
在《2022年中国虚拟人产业发展白皮书》中,数字虚拟人被分为下述两种:
广义虚拟人(Metahuman),指通过CG建模、手绘方式完成虚拟人前期制作,通过联合动捕、面捕技术实现驱动的虚拟人。
超级自然虚拟人(Albeing),指主要通过A技术“一站式”完成虚拟人的创建、驱动、内容生成,并具备感知、表达等无需人工干预的自动交互能力。
近五年,AI在虚拟数字人生成和驱动上展现了较高的效率。在《企业级AI数字人数字经济发展“新动能”》中,根据数字人拟人化程度,以及生产制作的自动化水平两个维度,数字人被分成五个等级。
图:数字人L1-L5等级
AI快速发展和融入行业的态势使得虚拟数字人融入各个行业的发展成为可能。
报告指出,L4和L5等级的数字人不仅具备高度的拟人化呈现,在形象、动作和智力层面都更接近于真人水平,能够听懂、看懂、有记忆、自学习,与人进行自然交互;同时,在制作流程中也融合了大量的人工智能算法技术来提升数字人的生产效率,降低了数字人的制作成本。
目前,融合AI打造数字虚拟人以融合行业应用已经成为重要趋势。
以科大讯飞为例,基于其自主研发的语音合成、识别、自然语言、图像处理等技术,创新发布虚拟生成、驱动、交互技术,搭建了科大讯飞AI虚拟人交互平台。该平台可以提供虚拟人形象构建、AI驱动、API接入、多场景解决方案,实现一站式的虚拟形象打造服务。
目前,虚拟数字人在各行业已经得到了广泛应用。尤其是娱乐和传媒行业,虚拟偶像和虚拟主播赛道十分火热,这类虚拟数字人也赢得观众喜爱。在金融、教育、医疗、政企等行业,虚拟客服、虚拟老师、智医助手、数字员工等也开始出现。
四、元宇宙催生数字虚拟人新赛道
2021年下半年,元宇宙点燃了整个市场。元宇宙作为虚实交融的空间,带来了无限的想象力,而进入元宇宙的第一步为打造“化身”。过去,互联网下的化身更多是2D的图像,而元宇宙中的化身将是“千人千面”的,代表用户的个人形象。
作为人类在元宇宙的通行证和身份标识,元宇宙带来了数字虚拟人新的形态——虚拟化身。
至此,数字虚拟人能够按照应用场景区分为两类,一类是身份型虚拟人,如虚拟化身和虚拟偶像,这类虚拟人拥有独立身份,被赋予具有个性的人格特征。另一类是服务型虚拟人,这类虚拟人能够投入生产和服务,以虚拟化身的形象执行偏标准化的工作。
图:数字虚拟人分类
随着元宇宙的发展,打造虚拟化身的需求有待释放,为虚拟数字人带来了C端市场的商业价值。
随着图像识别技术,人体识别算法的进步,昂贵的光学动捕设备不再是建模和驱动的必备工具。普通摄像头、传感器等设备也能够支持“小白”创建人物形象以及进行精准的驱动。目前,用于生成虚拟数字人的工具化平台已经出现。
以线上社交服务公司Spatial为例,其推出的VR化身创建平台支持任何人在几分钟内完成虚拟化身创建。用户能够通过网络摄像头拍摄、或者从设备上上传自己的照片,用于创建一个基于用户外表的3D自定义VR头像。之后,用户可以自定义肤色外观,或者更改头像衬衫的颜色。
除了头像的仿真性,平台还支持用户展示与他人互动时习惯的肢体动作。用户可以通过VR耳机中的手部追踪功能,支持化身跟随用户的动作,展现用户的手势和身体形态。对于没有VR设备的用户,平台嵌入了不同肢体动作或舞蹈动作,用户能够通过键盘按键,展现自己在肢体上的风格特色。
图:Spatial平台
此外,面捕、动捕技术及设备的家用打开了创作者市场。
动态捕捉技术帮助人们实现了人的实在身体向虚拟化形象转移的互动过程,这种交互方式开启了创作者的肉身与虚拟偶像身体的虚实触达通道,也是人与机器之间的一种新的互动形式。
以FaceRig为例,一款应用于手机和电脑上的虚拟主播软件,支持用户将自己的脸变成各种卡通形象,并提供面部表情追踪,真实展现主播的表情和动作实况。
在斗鱼平台上,许多主播都使用这类软件来打造自己的虚拟偶像。例如,斗鱼直播平台中拥有千万粉丝的“一条小团团”,借助面捕和动态捕捉技术,主播以可爱的虚拟形象实时动态地投射在屏幕上。搭配着其独特的声音,其收获了大量粉丝。
借助面部捕捉和动态捕捉技术,个人创作者能够实现自身形象或基于自身外观特征的虚拟化转移,并打造对外交互的虚拟数字人形象。
图:一条小团团卡通形象
写在后面:
回顾虚拟数字人的发展历程,技术是核心要素,而人们对虚拟数字人的想象和不懈追求更是催化剂,推动虚拟数字人从2D动画走向3D超写实,从定制化走向通用化,从商业端走向用户端。
元宇宙将人类带向了一个新的虚拟交融时代,虚拟数字人也将成为新的人机交互形式,以及人类的重要存在方式。甚至在未来,人们的数字化身和原生虚拟人的区别将逐渐被弱化,元宇宙的参与者成为“碳基生命”和“硅基生命”混合体。
正如科大讯飞对虚拟数字人的想象:
懂情感,爱人以及被人喜爱;
有个性,并非千篇一律;
智慧并善良,帮助人类是他们的初心;
每个人都可以获得,而不是遥不可及。
Web3不会杀死Web2。在本文中,我将使用Web3来泛指支持通过区块链技术来实现去中心化所有权的社区和项目,以及使用Web2来泛指互联网「常态」部分特有的社区和项目,比如Tumblr、Redd.
1900/1/1 0:00:00这两天网上流传出了一份美国参议院关于加密资产的全面立法文档,来自参议员KirstenGillibrand和CynthiaLummis.
1900/1/1 0:00:00元宇宙在近一年受到了极大的关注。微软、英伟达、谷歌、苹果、Meta等国外玩家在不同的业务层面都有布局。国内玩家如百度、阿里巴巴、字节跳动也都有探索.
1900/1/1 0:00:00在Terra生态系统崩溃之后,TerraformLabs联合创始人DoKwon继续招致更多法律纠纷.
1900/1/1 0:00:00游戏引擎作为游戏创作工具与游戏运行的底层控制器,着力于在虚拟世界中构建虚拟形象、虚拟场域,帮助虚实融合打造更强的沉浸感与交互感.
1900/1/1 0:00:002022年5月25日,Immutable宣布和StarkNet合作推出链接多个L2/L3zk-rollup的跨Rollup流动性解决方案,为web3游戏带来未来的十亿玩家.
1900/1/1 0:00:00