动作捕捉之面部动作捕捉的介绍

　　Face动作捕捉，有时也称为“捕捉面部表情”。它是动作捕捉technology的一部分，指的是通过机械装置、摄像机等设备记录人的面部表情和动作，并转换成一系列参数数据的过程。

　　面部表情比关节点组成的表情更加微妙复杂，所以对数据精度的要求更高。

　　在CG预算允许的情况下，电影和大游戏倾向于选择捕捉真实人脸来完成角色的表演。通过捕捉真人面部动作产生的人物，比人工动画表现出来的人物更真实。

　　如何实现？

　　1.机械传动

　　最早的人脸动作捕捉主要依靠机械设备来追踪和测量面部动作。

　　与人体动作捕捉设备类似，这些人脸动作捕捉设备通常由多个关节和刚性连杆组成，配有角度传感器，固定在人的嘴巴、眼睛等位置。当运动发生时，角度传感器可以测量角度的变化，根据连杆的长度计算出空间中固定点的位置和运动轨迹。

　　该机械设备具有低成本、高精度、实时测量的优点。缺点是使用不方便，很大程度上限制了表演者的表现力。

　　随着技术的发展，机械脸动作捕捉装备退出了历史舞台。

　　2.基于光学

　　目前几乎所有的face动作捕捉设备都是基于光学的，可以分为:

　　(1)基于二维数据

　　光学镜头是捕捉面部2D数据及其变化的基本设备。通过对捕捉到的数据进行标记和处理，算法可以理解人的面部表情和动作，完成虚拟图像的合成。

　　除了数码相机之外，该设备还可以是移动设备上的相机，例如计算机相机和移动电话的前置相机。其优点是成本低，容易获取，使用方便，缺点是捕获精度低于其他方法。

　　(2)基于三维数据

　　三维数据是通过一个光学镜头获得二维数据，同时通过一定的手段或设备获得一个画面的深度。

　　一、摄像机阵列法

　　即摄像头以一定的间隔，有规律的放置在阵列中，为人脸动作捕捉设计的摄像头阵列通常是环形的。演员需要在中心拍摄，以便通过不同视角获得的不同人像，获得面部表情和动作的三维数据。

　　摄像机阵列的优点是精度高，效果好，缺点是拍摄难度大，设备成本高，演员不能边动边用。

　　b、结构光法

　　结构光是获得图像深度最常用的方法。红外镜头会配合光学镜头，有时还需要泛光灯、泛光传感元件、点阵投影仪等辅助设备来获取人脸的深度信息。

　　点阵投影仪可以把看不见的光点投射到人的脸上。运动捕捉不平的面会改变晶格的形状。红外镜头可以读取点阵图案，然后将算法与前置摄像头拍摄的人脸相结合，得到带有深度信息的人脸信息。

　　在人脸拍摄的情况下，可以分为标记点和未标记点:

　　(1)有标记点

　　基于标志点的face动作捕捉系统比较常见，标志点数量不确定，由配套设备和系统决定。最大数量的面部标志350需要与高分辨率相机和其他设备一起使用。

　　这些设备通常是头戴式的。这些设备可以配合手势捕捉系统一起使用，演员的表演过程连贯，不受影响。根据拍摄场景和实施方式的不同，有时会有其他人协助拍摄。

　　(2)无标记点

　　无标记点法通常依靠鼻孔、眼角、嘴唇、酒窝等标志性位置来确定面部表情和动作。这种方法是最早由CMU、IBM、曼彻斯特大学等机构使用主观绩效模型(AAM)和主成分分析(PCA)来实现的模型和技术。

　　无标记人脸动作捕捉系统还可以追踪人的瞳孔、眼睑、牙齿咬合等细节。，并帮助完成动画合成。有时候需要对拍摄的图像进行手动处理，比如面部线条的极端表达。

　　需要注意的是，使用哪种设备通常取决于使用场景，是否有标记点与使用哪种设备没有必然联系。主要目的是虚拟图像合成。这些设备虽然可以交互，但是没有主流的应用。

　　Face动作捕捉device可以根据不同的场景进行:

　　非实时应用场景

　　电影、电视剧和游戏中的虚拟阴影，电视剧和游戏中的虚拟渲染和合成，可以捕捉演员的面部动作，以达到更好的表演效果。丽塔:战斗天使是目前face动作捕捉技术的前沿案例。

　　2.实时应用场景

　　实时应用通常是可显示的，虚拟偶像会使用相关设备与用户在线或离线实时互动。