深工| xR虚拟制片、数字人与动捕技术的融合革新

来源：深工编辑：ZZZ 2024-10-22 15:58:19 加入收藏

市场预测显示，到2025年，全球xR市场规模将突破千亿美金。随着这些技术的应用，影视、教育、游戏和直播等多领域的创作流程更加高效、经济，也为观众带来了前所未有的沉浸式体验。

　　在数字化浪潮的推动下，xR虚拟制片、数字人和动作捕捉技术正引领一场内容创作的革新。“通过xR虚拟制片，创作者将创意实现的时间缩短了80%。”一位资深电影制片人表示。xR虚拟制片不仅为创作提供了超越现实的创作空间，还大幅提高了影视行业的生产效率。

　　在直播领域，数字人打破了主播的时空限制，能够与观众实时互动，极大地增强了灵活性和参与感。而动捕技术为数字人赋予了更真实的表现力。xR虚拟制片、数字人和动捕技术的深度融合，不仅拓展了创作的边界，还成为驱动行业发展的新引擎，重塑了影视、教育、游戏和直播等多个行业。

　　通过整合xR虚拟制片、数字人和动作捕捉技术，深工为品牌和创作者提供了更为灵活的创作工具，使他们能够在虚拟环境中实现更具表现力和互动性的内容, 成功实现了虚拟与现实的深度融合。同时，这种技术解决方案不仅能满足影视、游戏和直播等领域的多样需求，还为商业展示和品牌营销带来了新的创新模式和无限可能性。

技术核心：虚拟制片与数字人结合

　　用户采用基于UE5引擎的xR虚拟制片技术，通过将虚拟场景与数字人结合，创造出更加逼真、互动的沉浸式体验。数字人(Metahuman)技术由UE5官方早在UE4阶段开发，允许创作者打造高度真实的虚拟人类角色。用户在此基础上进行深度定制与优化，增加了和数字人互动的可能性，实现了与虚拟制片的完美融合。

　　UE5提供了一套在线的数字人创建工具(Metahuman Creator)。通过注册Epic账号并申请使用即可立刻开始体验。这套工具允许用户从预设角色中进行选择并直接创建，不仅支持调节特定部位的尺寸、位置或种类，还可以创建或修改毛发、体型、肤色以及简单的服饰。所有通过这个工具创建的角色都将拥有统一的拓扑结构、多重LOD以及对应的绑定资产。用户可以在UE5中通过Quixel Bridge快速地从用户的账号中下载用户所创建好的数字人角色，随后就可以在场景中对它进行使用。

　　然而，这套工具目前对亚洲人物的支持有限。这意味着如果用户要使用UE5官方提供的这套工具去创建一个亚洲人的脸型和体型是十分困难的。由此，用户在创建过程中开发了多种解决方案：

　　1.基于照片生成数字人

　　通过Metahuman进行快速特征点追踪，可以基于角色的正脸照片生成数字人模型，但由于侧脸深度和遮挡物的限制，如果面部有遮挡，效果会进一步降级。因此，这种方法只适用于简单的角色创建。此外，该方法需要手动指定或创建角色的肤色材质贴图。

　　2. 基于Iphone深度摄像头的数字人创建

　　使用Live Link Face软件录制包含人物面部深度信息的视频，再生成精确的角色模型。该方法要求在布光良好的环境中进行。面部不能有任何过曝、大型阴影或局部曝光。同时在录制过程中，不能将面部移开取景框。用户一般会录制包含正脸、左侧脸、右侧脸以及龇牙的视频。通过这个视频，可以生成准确包含角色面部特征以及精确到牙齿特征的模型。该方法除了不能直接创建材质贴图外，是在兼具速度的情况下，最准确的一种角色模型生成方式。

　　3. 基于模型进行数字人的创建

　　如果用户已有外置的模型或通过一组照片生成的模型，也可以将其转化为数字人。该方法创建的模型是通过外部包裹拓扑以及特征点的追踪进行生成。只要拓扑结构一致，也可以将现有的模型直接转化为Metahuman可以使用的状态。

　　生成数字人模型后，用户还需要检查动画的正确性。例如，Metahuman在动画中经常会出现诸如眼睛无法闭合等细微的问题，这需要对它的blendshape进行手动修改。用户可以使用数字人创建工具进行数字人DNA的创建。

　　DNA是UE5提供的一种数字人头部数据存储的类型，包含了多种LOD、头部形状以及绑定的细节。用户可以在Maya中通过DNA viewer和DNA Calib修改DNA。

DNA Viewer界面

　　DNA viewer允许用户读取对应的DNA所包含的数据。用户对其修改后，可以通过DNA Calib重新注入DNA文件中，再导入UE5中创建一个拥有正确动画的数字人。

　　而在数字人皮肤的创建中，除去官方可用的皮肤，用户可以自己购买或制作高精度的皮肤纹理贴图，在SP中对其进行修改即可。Metahuman的褶皱也有对应的贴图去控制产生的效果以及对应的渲染材质，这也是需要用户手动去进行修改调试。

　　用户可以在传统的建模软件中利用插件快速地生成毛发。然而，用户无法使用数字人创建工具生成用户想要的准确的毛发，它只能提供预设的毛发以供用户参考。并且，只有手动创建的毛发才能更好的贴合数字人。

　　数字人的服装既可以使用例如Style3d，Marvelous designer进行制作，也可以使用传统的雕刻软件进行制作。制作完成后需要和数字人的权重进行刷取，保证运动的一致性，或使用UE5自带的布料模拟或者其他布料模拟插件进行解算，以模拟真实布料的质感和运动逻辑。

　　到此为止，数字人的调试基本完成。

动捕技术的突破应用

　　接下来便进入动捕的环节。

　　数字人的动捕分为面捕和肢体捕捉。用户将使用IPhone的Live link face完成面捕，其使用方式分为Live link(ARKit)以及Metahuman Animator。前者使用Iphone提供的ARKit框架在设备上捕捉动画，通过本地网络实时传输到UE5，适合直播环境使用。后者使用Iphone捕捉的原始视频、深度和音频数据，在传输到本地后进行解算，适合传统制片的流程使用。当录制解算的精度的准确性远超实时传输的精度，并且脸型越贴近数字人，其解算效果会越好。如果需要无人直播的效果，可以考虑后者。

　　在肢体捕捉中，用户使用HTC Tracker配合OpenXR将数据传递给UE5。通过对使用者T pose的读取和校准，用户可以在不同体型的数字人上使用同一位动捕演员。用户通过对手臂和腿进行IK绑定，因此仅需要6个Tracker即可实现最基本，最简单的动捕效果。