新闻中心

news center

新闻中心

迪生助力韬斯曼呈现精彩女团舞,展现不一样的动作和表情

韬斯曼继湖南跨年晚会的首秀之后,终于又出新作品啦。

 

这次韬斯曼跳了一支《创造营2020》的女团舞来为小姐姐们应援哦,舞蹈动作毫不逊色舞团小姐姐,整个舞蹈炫酷流畅,让人都忍不住跟着动了起来。这样自然流畅的舞蹈动作和丰富灵动的面部表情,都是由迪生提供的幕后技术支持。

本次使用了Vicon动作捕捉系统和Dynamixyz面部捕捉系统对演员肢体和面部进行数据捕捉。为了更好的了解”韬斯曼“是如何在舞台上动起来的,我们专程采访了迪生数娱专业的技术人员为大家解答

项目中技术的难点和解决方案

您觉得此次韬斯曼项目技术上的难点是什么?是如何解决的?

项目负责人答:因为客户需要看实时预览,所以需要预先调节,但由于时间紧迫,所以预先调节必须在很短的时间内完成。这是其中的一个难点。

项目过程中有哪些亮点?

项目负责人答:因为疫情期间,场地有限,所以在5乘5的场地内进行表情、肢体、手指的混合调节。(所有捕捉内容均在5*5的小场地内完成)

并且进行了表情加肢体加手指的实时捕捉,将数据实时录制下来,同时在虚幻引擎里进行实时预览,录制成片。

关于动作捕捉技术

韬斯曼是如何从真人表演变成视频中的韬斯曼的?

动捕技术工程师答:首先我们利用Vicon动作捕捉系统为韬斯曼演员捕捉相应的高质量骨骼动作数据,并且对数据进行修复得到一个比较完美的动作数据。然后在Maya中利用骨骼数据对模型进行动作映射,并且进行一些动画修正。最后将映射好的动画数据在UE4中进行渲染并且拍摄。还有就是Vicon软件会实时检出部分丢失的点,来保证捕捉过程中的稳定性。

在动作捕捉过程中有什么难点?如何解决的?

动捕技术工程师答:手指捕捉的难度相对身体来说更难,手指采用的9.4毫米标记反光点,相对于14毫米小了不少,而且相对密集,所以在捕捉过程中更容易丢失,会使手指骨骼容易错乱,造成后期数据的修复困难。

在捕捉过程中我们均使用高分辨率摄像头,高像素会对手指点有着更好的捕捉效率,在捕捉过程中更容易分辨点的质心,减少点丢失的情况。

关于面部捕捉技术

韬斯曼的表情是如何实现的?

面捕技术工程师答:我们使用Dynamixyz表情捕捉系统来追踪真人的面部表情,从而在虚幻中实时驱动韬斯曼面部的骨骼和BlendShape进行运动的,这样韬斯曼就在引擎中动了起来。

为什么要使用面部捕捉技术来实现韬斯曼的表情?

面捕技术工程师答:因为韬斯曼项目周期比较急,使用面部捕捉将会大大的提高工作的效率,再加上Dynamixyz现在可以捕捉眼球的运动,还可以与Vicon进行实时触发,达到时间码同步来确保它和肢体捕捉的时间是相同的,然后还可以将数据录制下来以便于后期的使用,再加上他的表情库是可以扩充的,没有限制,这就大大方便了我们制作人员的使用。

Vicon肢体捕捉和Dynamixyz表情捕捉是如何相互配合的?

面捕技术工程师答:这个项目是需要在虚幻里面进行实时预览加数据捕捉,所以肢体捕捉和面部捕捉时间码的就需要严格对照起来,Dynamixyz完美的解决了这个问题,因为Dynamixyz可以被Vicon触发,这无疑在数据录制的时候提供了比较大的方便,确保了肢体数据和表情数据的的同步。

韬斯曼面部捕捉过程中有什么难点?如何解决的?

面捕技术工程师答:韬斯曼的面部绑定比较复杂,采用骨骼、BlendShape和控制器的混合绑定.因为有控制器的存在使得在模型做 retargeting时显得很容易,但是因为是在虚幻引擎中渲染,所以我们需要将面捕数据推流至引擎中,所以就需要我们将面捕驱动的控制单元从控制器转移骨骼或者BlendShape上。由于前期在角色资产制作环节,动捕技术人员对角色资产做了细致的动捕数据驱动测试,所以在做最终的动作映射环节时很顺利且取得了相对较好的效果。