新知一下
海量新知
6 0 7 2 3 4 5

面部表情写实度堪比照片?可用UE的实时面部绑定技术

CG世界 | 专注CG领域视觉分享 2021/11/29 13:46

文/编辑:木木

最近 Ziva Dyamics 公司发布了个免费的线上实时面部绑定服务 ZRT Face Trainer ,一下子火了起来。大家发现,哎?这不是搞肌肉模拟的那家公司么?是的。

Ziva Dynamics 最早发布的是一款名为Ziva VFX的肌肉模拟插件。没记错的话应该是2017年发布的,可 模拟包括骨骼,肌腱,肌肉和皮肤在内的真实组织的硬度,密度和体积。 并支持多种类型的物理阻尼。 当然了,这是他们起家时候的“活计”。

随着发展,这几年人家也没闲着,一直在不断的研发进步。这不,前几天就公布了这个 基于面部绑定的服务 ZRT Face Trainer,到底是什么呢?下面来看看官方的视频。中文字幕,无阻观看~

目前这个系统可免费提供给用户使用,但前提是提供给选定用户,我去网站注册试了试,注册完,是这么提示我的。

新知达人, 面部表情写实度堪比照片?可用UE的实时面部绑定技术

大致意思是,目前正在向选定用户授予ZRT Face Trainer访问权限。如果想在不久的将来可使用这项技术,填下表格,然后到时候官方会第一时间通知我。也就是说目前我们还用不到。但从介绍还是能略知一二的。 目前只涉及 发送角色并执行一系列面部表情的渲染动画,并不具备一些交互性的内容。

https://zivadynamics.com/zrt-face-trainer

从全身角色模拟到面部绑定和动画的转变

早在去年年底,Ziva就公司发布了一个新的基于机器学习的面部表现系统的预告视频,随后又发布了实时无标记面部解决的演示,就预示着Ziva Dyamics已经准备把重心转向面部绑定和动画了。

新知达人, 面部表情写实度堪比照片?可用UE的实时面部绑定技术

自动化面部 绑定 经过反复测试 ,其中 4D扫描数据库 就达15TB,这个数据意味着可模仿表演人员的表情范围是非常巨大的。

可以将任何角色头部网格转换为具有数万种面部形状的实时表情

据网站介绍,ZRT Face Trainer可以将上传的角色头部网格转换为能够表达超过72000个面部形状的实时人物面部表情状态。

人脸面部代理运行时只有30MB,在单CPU线程上以3ms/帧的速度运行,也就是说它更适合游戏和实时应用程序人面部捕捉的动画。

新知达人, 面部表情写实度堪比照片?可用UE的实时面部绑定技术

说到这里你一定回想,这会适合哪个游戏引擎呢?没错,是UE。下面这个就是在UE4中以每秒60帧的速度运行的4K文件演示。当然了,UE5更适合。

新知达人, 面部表情写实度堪比照片?可用UE的实时面部绑定技术

当然了,对于模型的处理也需要精细,在处理头部网格之前,需要进行手动清理和重新拓扑,按要求匹配标准点的顺序,细分的越好生成真实感也就越好。还需要遵循Ziva Dynamics人员给出的一系列说明。

新知达人, 面部表情写实度堪比照片?可用UE的实时面部绑定技术

那很多人会说对于风格化一些角色也适合么?Of Cause!下面来看几个在风格化角色上的效果。

新知达人, 面部表情写实度堪比照片?可用UE的实时面部绑定技术

新知达人, 面部表情写实度堪比照片?可用UE的实时面部绑定技术

新知达人, 面部表情写实度堪比照片?可用UE的实时面部绑定技术

好是好,就是目前ZRT Face Trainer只对选中用户开放测试,具体的定价和公开发布日期还未定,但是很期待上手试一下!小伙伴们怎么是不是跟我一样呢?

end

更多“UE”相关内容

更多“UE”相关内容

新知精选

更多新知精选