Epic、英伟达、迪士尼高管‘激辩’数字人

2022-03-28 20:22:40   来源:创业邦

需根据应用场景定制数字人

编者按:本文来自微信公众号 竞核(ID:Coreesports),编译:苏于涵,创业邦经授权发布。

在2021GTC大会上,英伟达CEO黄仁勋表示Omniverse愿景是让个人模拟制造出遵从物理规律的共享3D虚拟世界。Omniverse可完成实时3D设计协作和虚拟世界模拟,将图形、AI、模拟和可扩展计算整合到一个平台上。

同時,英伟达将自己定位为提供底层基础设施服务商。英伟达技术专家表示,Omniverse为“数字人”引入了最接近“人”的表情、语言系统。英伟达认为,当数字人跟真人可以沟通交流,贯穿真实跟虚拟世界时,才算是完美诠释了元宇宙的概念。

今年NVIDIA GTC大会已于3月21日展开,CEO黄仁勋在主题演讲中,着重介绍了Omniverse Avatar。黄仁勋请出了基于自身形象定制的、完全实时、完全动画化的Avatar——Toy Jensen。并借Toy Jensen之口介绍了Avatar的制作流程。

Avatar是一个基于Omniverse平台框架构建的虚拟人,Avatar的声音完全由Riva的文本转语音RADTTS合成,而且可用于通过Omniverse Audio2Face驱动Avatar的面部动画。接下来Omniverse动画的动画图形用于定义并控制Avatar的动作,包括手和手臂的动作,以及细微的头部和身体运动。

使用NVIDIA开源的跨平台材质定义语言(MDL)可以增加触感,而RTX渲染器能实时以高保真度呈现Avatar形象。最后得益于Riva中的最新对话式AI技术和Megatron 530B NLP模型,从而实现Avatar自由对话。

同时Omniverse Avatar可以从云、数据中心、或其它任何分解系统运行,而这都要归功于Tokkio。Tokkio是一款使用Omniverse Avatar构建的应用,它将客户服务AI引入零售店、快餐餐厅甚至网络。它使用计算机视觉、Riva语言AI和NVIDIA NeMO 等NVIDIA AI模型和技术打造而成。由于Tokkio在我们的统一计算框架(或UCF)上运行,因此可以从云端横向扩展。

如果说Omniverse的魅力是融合多种可能,将游戏、VR、数字会议空间、数字资产,甚至可能是到大脑与机器的互动,乃至于人工智能被纳入其中。在做到融合的愿景之前,业界普遍看好行业底层技术如游戏引擎和数字人广泛地应用到其它领域。

2月23日晚11点,NVIDIA GTC 2022在电话会上谈论数字人如何影响各行各业。对话嘉宾有Cedrus Digital 研发负责人 Sarah Bacha 、迪士尼动画工作室研发副总裁Markus Gross, Epic Games数字人科技部门副总经理Vladimir Mastilovic、Cine Tracer 开发者Matt Workman,NVIDIA图形处理及AI负责人Simon Yuen, Reallusion产品市场副总经理John Matin II及Microsoft首席科学家Erroll Wood。

以下是编译内容节选,略经编辑:

元宇宙的兴起,数字人的潜力

Epic Games数字人科技部门副总经理 Vladimir Mastilovic:

大家好,我的名字是弗拉基米尔,我是Epic Games数字人技术副总裁。早前,我供职于数字人技术与创意内容开发商3Lateral。从那时开始,我们一直专注于研发数字人技术。因此,我们整合优化了大量动捕系统,以便在实时环境处理大量数据。我们很多项目都围绕开放世界游戏,比如最近的《极限竞速:地平线》系列。

我们在实时数据处理方面拥有丰富的经验。我们研发了 Metrics Human Product,我们的使命是把它带给每个人,帮助他们讲故事,期望未来能广泛地应用到其它领域。

Cine Tracer开发者Matt Workman :

大家好,我是马特·沃克曼。我是一名专注数字人的开发者和内容生产者。几乎每一天,我都专注于开发一款电影摄影布光产品Cine Tracer。Cine Tracer用虚幻引擎制作,主要被电影制作者用于预演和故事板,现在它在Steam上销售。

在过去的一年里,我一直在整合数字人资产,做了很多衣服、鞋子、帽子等等。我一直在制作有关动作捕捉的内容,而后用在Cine Tracer,并尽我所能努力提高质量。

NVIDIA图形处理及AI负责人 Simon Yuen:

大家好,我是西蒙·尤尼恩,我是英伟达人工智能和图形处理总监。大约4年前,我加入了视频行业,在此之前,我花了20多年时间制作视觉特效,创造数字人类、生物等等。我们看到游戏娱乐、电影等领域,对数字人需求与日俱增。想问一个问题,大家在生产数字人时是否需要耗费大量时间?对一些领域专家来说,这是非常耗时的。因此,我们想使用人工智能来加速这一进程,希望最终能够普及且质量不错。

Reallusion产品市场副总经理John Matin II:

大家好,我叫约翰·马丁,来自3D/2D 即时动画公司Reallusion。公司为动画系统、角色、创造提供工具。对公司来说,优先级最高的事情是把工具融入到行业发展大势中,让动画角色流动起来。举例来说,我们已经Omniverse平台成功打通,在此基础之上大家可以联合任意一家社区来创建和协作。

我们的使命是把我们的角色打造成一个可扩展的版本,无论你需要一群人还是单个高逼真度、实时的角色。大家可以轻松地接入。这些先进的数字人,对于行业发展非常重要。

Microsoft首席科学家Erroll Wood:

我是Erroll,我担任微软混合现实和人工智能实验室的首席科学家。基本上,我们的工作室围绕混合现实、全息眼镜及增强现实等硬件。你可以将设备戴在头上,或者连接到具有景深功能的相机上。我们致力于研究人们使用混合现实备时,如何互动和交流才能变得更愉快。

我们有很多计算机视觉问题需要去解决。但我一直在研究,我们如何使用由数字人类驱动的合成数据来解决这些计算机视觉问题。然而,目前有很多传统的机器学习问题,很难收集正确的数据。

迪士尼动画工作室研发副总经理Markus Gross:

我现在在迪士尼工作室担任首席科学家,早前曾在瑞士联邦理工学院(ETH)计算机符号学院工作了近30年。大约在25年前,我开始研究数字人,主要是为了基于物理模拟的医学应用。进入迪士尼后,我们开始涉足娱乐和特效等领域。过去10年里,我们所做的美杜莎动物动作捕捉系统,对行业意义重大。目前,它已被集成至工业光魔特效管道中。

我们小组致力于把数字人带到日常生活中,这在电影特效领域应用尤为广泛。十三年前,我加入迪士尼后,花了很长时间才把数字人面部动画效果提升至真人水平。通常情况下,动画效果由故事驱动。我们想要塑造能够向观众投射真实情感深度的数字角色,他们会跟观众建立联系。在这一点上,我相信我们已经在某种程度上实现了这一目标。电影中基于动捕的数字角色是绝对可信和真实的。

看来,随着元宇宙兴起,以及NLP、AI等技术推动下,实时数字人有望迎来新一轮爆发。他们在行业中的重要性将变得愈发重要。

Reallusion产品市场副总经理John Matin II:

现在,制作电影的门槛已经相对较低,尤其是拍摄前期,无需庞大的制作团队及设备,大家都站在同一起跑线上。如果大家目标是打造像素动画,用现有工具非常容易实现这一目标。我认为,独立电影人潜力巨大,他们能打破传统制作流程,引入新制作思路,会对行业产生巨大影响。

在实际拍摄中,数字人可以帮助导演、编剧更好地诠释画面。像Cine Tracer工具就非常好用。

虚实难辨,数字人的应用与考验

Cine Tracer 开发者Matt Workman:

我认为,如果我们把个体创造者看作是创造者经济,那么他们会对数字人做什么?这是我们将要考虑到的现实问题。听起来,使用已有创作者工具,会有多种方式让木偶变成数字人,轻轻地点击一下就行。在制作过程中,它实际上需要调校好的算法进行分发。

现在看来,远程协作将变成日常工作模式。那么,你是否能让开发者协作变得快捷,让电影学院学生在宿舍就能完成拍摄?我个人还蛮期待这种协作方式的。

Epic Games数字人科技部门副总经理Vladimir Mastilovic:

20年前,当我进入数字人领域时,感觉互动媒体是一种真正的艺术形式,它还没有被超越。现在,它们在商业上成果丰硕。还想提一句,最近Epic公布的虚幻5引擎开发的演示DEMO:《黑客帝国:觉醒》让人虚实难辨,真的很有趣。

我们将不再把电影看作是线性内容。它将被转化为同时具有交互性和线性两种特质的产物。你将有机会选择,甚至直接参与。事实上,从后期制作中的特效演变为前期视觉化、虚拟制作,这似乎是娱乐业的自然演变。

Microsoft首席科学家Erroll Wood:

Microsoft在数字人方面取得的进展,将帮助我们以新的方式解决传统的计算机视觉和机器学习问题。特别是计算机视觉领域。我们正呼吁越来越多的人重视合成数据的重要性。原因在于,当你可以制作出更多样化的数据,训练模型有望更加具有实用性。

公司不少已发布产品,都采用合成数据进行训练。我们意识到,就像其它计算机视觉问题一样,数字人可以解决这些问题。

NVIDIA图形处理及AI负责人Simon Yuen:

我将在大家谈论的内容和视频基础上展开讨论。我们拥有相当多样化的客户,都是关于虚拟世界的。由于内容创造速度和雇佣员工数量有限,利用人工智能加速成为一个大趋势。

更重要的是,我认为Sarah、Erroll和其他人提到的其它领域也在增长。像医院中的残疾患者,他们或许更喜欢与数字人交谈,而不是真人。原因在于,与数字人交谈让他们感到更舒服。我将以这个例子做结束,我的一个朋友,他们的孩子大约10岁,他们使用iPhone Siri交谈的方式与我们大多数人不同。他们像跟朋友一样和他们交谈。

所以,我认为无论是我们这一代还是下一代,都会跟虚拟角色建立关系。这将成为我们生活的一部分。同时,这也造成一个明显的问题,当我们开始研究用数字人技术时,耗费时间长达数十年之巨才能拥有阿拉丁精灵、霍克教授。

特效的数字人体技术时,它需要花費整整十年的持续研究和技术改进,才能在某种程度上超越了年轻的肯尼谷。幻想的数字人类类型从阿拉丁精灵类型到霍克教授皆有。

所以这真的需要一段很长的时间。在不同的场景中,我们不一定非得需要一个真人,可以是拟真人类或者是抽象人物。

Cedrus Digital 研发负责人 Sarah Bacha:

在我看来,发展何种数字人类型完全取决于用途。比如你想做什么?如果你想让他们与真人联系起来,或许知名历史人物会更具亲和力。如果是一款教育作品,头像越逼真越能与学生产生联系。如果你不想让它联想到真人,我会说数字人越抽象越好。

再次強调,这一切取决于我们为什么需要这个数字人。

Reallusion产品市场副总经理John Matin II:

我认为美妙之处在于实时数字人一直在進步。眼下数字人现在正变得更加真实,像头发等,这主要是由于引擎不断在进化。考虑数字人整体性,如果衣服、眼镜等配饰有更多选择的话,它会显得更加真实。当然,这与不同的角色特性有关。

本文为专栏作者授权创业邦发表,版权归原作者所有。文章系作者个人观点,不代表创业邦立场,转载请联系原作者。如有任何疑问,请联系editor@cyzone.cn。

关键词: Epic Epic英伟达

上一篇:
下一篇:
精彩阅读

Epic、英伟达、迪士尼高管‘激辩’数字人

资讯

Epic、英伟达、迪士尼高管‘激辩’数字人,需根据应用场景定制数字人

滴滴国际化艰难行军:更多的对手和更复杂的挑战

资讯

滴滴国际化艰难行军:更多的对手和更复杂的挑战,诚然,对于所有公司而言,任何一个战略推进的过程都不是一朝一夕的,对微观环境的预判都很难,

当视频号开始“搞钱”

资讯

当视频号开始“搞钱”,对视频号来说,如何取舍变现业务,保障长期增长能力同样重要。

教辅吸金时代结束:从外扩到内卷!

资讯

教辅吸金时代结束:从外扩到内卷!,教辅≠只卖书

融资丨「福气鲜活面包」完成近千万元天使轮融资,旦恩资本独家投资

资讯

融资丨「福气鲜活面包」完成近千万元天使轮融资,旦恩资本独家投资,特色是口味以咸口为主,再加上极富中国色彩和年轻消费者的偏好性的元素,打

融资丨「星盘跨境 shopastro」完成超千万美元A轮融资,高瓴创投领投

资讯

融资丨「星盘跨境shopastro」完成超千万美元A轮融资,高瓴创投领投,为品牌出海卖家提供一站式出海全链路解决方案。

融资丨「申易科技」完成数百万元天使轮融资,创业邦天使基金等资方投资

资讯

融资丨「申易科技」完成数百万元天使轮融资,创业邦天使基金等资方投资,打造了低代码、高性能BISaaS产品。

融资丨「等效原理」完成数百万元天使轮融资,GGV纪源资本独家投资

资讯

融资丨「等效原理」完成数百万元天使轮融资,GGV纪源资本独家投资,为用户提供了陪伴感、娱乐感、沉浸感的线上健身产品,旨在解决用户健身枯燥

融资丨 「易安联」完成B++轮融资,建设零信任SASE平台

资讯

融资丨「易安联」完成B++轮融资,建设零信任SASE平台,资金将重点投向零信任产品协议标准化,建设零信任SASE平台。

Lazada 10年:走,把货卖到东南亚去

资讯

Lazada10年:走,把货卖到东南亚去,巨轮的航线逐渐清晰。

财富

支付“破壁”再现新进展淘宝内测微信支付

资讯

机构支付破壁再现新进展,继此前阿里旗下饿了么、优酷等应用接入微信支付后,近两日,关于淘宝App部分用户支持微信支付的消息再次传开,有

施罗德交银理财:首只理财产品即将发售

资讯

正式揭牌近一个月,施罗德交银理财首只理财产品即将发售。3月27日,北京商报记者从施罗德交银理财处获悉,该公司首发理财产品得源多资产稳

映客发布2021年财报:营收91.8亿元,净利润4.7亿元

资讯

3月27日,映客发布了2021年财报,营收91 8亿元,较上年增长85 4%,净调整后净利润4 7亿元,较上年同期增长111 4%。根据财报,2021年映客增

多个乐园临时歇业,主题公园市场“一波三折”

资讯

疫情的变化让今年年初的主题公园市场经历了一场倒春寒。3月27日,北京商报记者了解到,继上海迪士尼度假区暂停营业后,广州、珠海长隆度假

海昌海洋公园发布2021年全年业绩报告

资讯

3月27日晚,海昌海洋公园控股有限公司(以下简称海昌海洋公园)发布2021年度全年业绩报告。公告显示,2021年海昌海洋公园收入为24 6亿元,同

苹果将为iPhone和其他硬件开发订阅服务或用于按月付款

资讯

据国外媒体报道,知情人士透露,苹果正在为iPhone和其他硬件产品开发一种订阅服务。此举或将使客户能够像订阅软件服务那样,以按月付款的形

宁德时代成为新能源产业首家“零碳工厂”

资讯

近日消息,宁德时代官方宣布,全球知名认证机构SGS为宁德时代全资子公司四川时代颁发PAS2060碳中和认证证书,宁德时代宜宾工厂成为新能源产

微软Xbox平台预计2026年可获得7%市场份额

资讯

周五的时候,游戏市场分析公司 DFCIntelligence 发布了对主机市场的最新预测。其认为,微软 Xbox 平台有望在未来四年内,与索尼 PlayS

苹果高管:MacStudio设计源于公司几十年来的工作

资讯

苹果公司很少推出全新的Mac,但两位负责Mac Studio的高管说,Mac Studio设计源于苹果公司几十年来的工作。在接受《GQ》杂志的最新采访中

营收增速超50%,绿城中国“规模化”提速

资讯

规模化的绿城已经被市场所熟知,规模化冲刺带来的问题同样惹人注意。3月23日,绿城中国于线上召开2021年度业绩发布会。公司全年目标达成率1

内蒙古电信一把手调整

原中国电信集团采购供应链管理中心(原采购事业部)副主任祝满昌任内蒙电信总经理。

场景共同体:浪潮存储的生态突围秘诀

技术和生态对于浪潮存储的发展至关重要。

学微信,淘宝也支持账号名修改了

据官方消息,淘宝账号名修改正在进行随机灰测,预计在4月下旬前将逐步放开该功能覆盖人群。

有赞大裁员?SaaS的冬天来了

从周五开始,SaaS微信群里就不断有人爆料“有赞大裁员”,而且还贴出了脉脉截图。

重磅!淘宝支持微信支付了

在淘宝App购物,可以用微信支付了!

为户外劳动者提供便利 重庆已建成665座“劳动者港湾”

  中新网重庆4月22日电 (韩璐 王雪宇)记者22日从重庆市城市管理局获悉,2020年重庆市已建成“劳动者港湾”665座。今年,重庆还将继续建

沈阳警方侦破特大贩卖毒品案 抓获88名涉毒违法犯罪嫌疑人

  中新社沈阳4月22日电 (王景巍)沈阳市公安局22日发布消息,近日,在中国公安部和辽宁省公安厅的指导协调下,历经9个多月,沈阳市公安局

上海警方侦破特大制售假普洱茶案 市场价值高达18亿元

  中新网上海4月22日电 (记者 李姝徵)记者22日从上海警方获悉,2021年3月,上海警方全链条侦破一起销售假冒知名品牌普洱茶案,捣毁制售

西安强化知识产权司法保护 商标权案件占比高

  中新网西安4月22日电 (记者 张一辰)在世界知识产权日即将到来之际,西安市中级人民法院(以下简称:西安中院)22日召开新闻发布会,发

今年5月至明年2月底 江西4A级及以上景区对全国学子免门票

  中新网南昌4月22日电 (记者 李韵涵)记者22日从“红五月·嘉游赣”江西五一假日旅游工作媒体吹风会上获悉,2021年5月1日至2022年2月28

福州乡村公益图书馆:图书“接地气” 门口即是农田

  中新网福州4月22日电 (叶秋云 曾路淇)世界读书日即将来临之际,驾车五十余分钟,记者来到距离福建省福州市30多公里的闽侯县白沙镇马