【洞见】- 属于我们每个人的虚拟制作-Dante

　　属于我们每个人的虚拟制作

　　by Kirsten Nelson

　　大约一年半前 - 按照现在的科技发展变化速度相当于十来年时间 - 我站在一个被 LED 墙和浮动 LED 天花板包围的舞台上。我正在与两位创意机构的老板谈论 “虚拟制作” 这个相对较新的想法。事实上，它是如此新，以至于我们站在纽约市第一个独立运营的虚拟制作舞台上。该空间由布鲁克林内容工作室 The Family 的多才多艺的创意和技术创新者于 2021 年推出，打开了通向未来的大门。

　　我们四处移动相机，观察光线和阴影在不断变化的虚拟背景中如何变化。我们对现场视频在房间内实时折射光亮表面的方式感到惊叹，从而消除了过多的后期制作工作的必要性。一切无生命或有生命的事物都会看到场景的变化，就像在现实生活中一样。这比要求表演者想象在绿幕前或动作捕捉工作室中拍摄要好得多，在那里他们可能还需要与虚拟龙的替身演员互动。

　　有人讨论我们如何在一天内创造出一年的广告和社交内容。那真是一见钟情的感觉。但那感觉已经是很久以前的事了。从那以后，人工智能开始占据了更多的创意领域，无数其他潜在的虚拟制作工作室涌现，编剧和演员纷纷罢工，而最好的新工作前景可能是 “AI 对话工程师”。

　　现在，当创意世界真正讨论人类和机器如何协同工作时，我们其他人，那些仍在尝试使用这些闪亮的新工具让事物发挥作用的人，需要了解什么呢？

　　为了找到答案，我回到了这一切的开始，并再次与我的朋友 Steve Dabal(The Family 的联合创始人兼创意总监)进行了交谈。根据从广告公司的各种客户项目、各种创意客户和独立科幻浪漫喜剧制作中获得的经验教训，Dabal 分享了一些见解，以及客户在预订这些面向未来、 AI 驱动的 LED 立方体创意之前应该提出的问题。

　　Kirsten Nelson：首先说明一下。我们管这个东西叫什么，是虚拟制作吗？它是像 “The Mandalorian"《曼达洛人秀》中人们使用的 “画卷” 那样吗？

图片摘自:techchurch.com文章：How ‘The Mandalorian’ and ILM invisibly reinvented film and TV production

　　Steve Dabal：对我来说，虚拟制作是使用虚拟工具执行电影制作的过程。当提到在 LED 屏幕上拍摄时，很多人都会使用“虚拟制作”这一流行名称，尽管这里的革命性技术是您现在可以使用实时动画在虚拟场景中进行拍摄。我喜欢说的是 “相机内视觉效果” 这个词。这就是您使用 LED 画卷来产生视觉效果的时候。它总是与绿屏进行比较，因为绿幕/蓝幕是类似的视觉效果过程。它只是不是在相机内生成的。

　　凭借真正的相机内视觉效果 - 闪电和背景是被锁定在实际的镜头脚本文件中的。

　　Kirsten Nelson：是的，因为绿屏是后期加上的。

　　Steve Dabal：是的，是后期添加的。但我的意思是，从技术上讲，现在这个概念还有点模糊，因为在广播制作中他们也添加了现场后期制作。 这也属于是相机内视觉效果的一种形式。因为当演员在布景中走动时，眼睛看到的都是绿色，而在视频搭建中，围绕他的是一个完整的虚拟场景。所以这几乎是数字与物理的混合现实概念，我们只是将它们添加在一起。

　　Kirsten Nelson：啊，混合现实。 所以这确实是世界上发生的所有事情的融合 - 每个人都对 AR 感到兴奋。

　　Steve Dabal：哦，是的。但很少有人知道如何谈论它。很多客户会说他们想要 “AR 电影制作”。我们必须问他们这是什么意思。AR 在广播制作领域的应用非常广泛。比如说前景是 3D 图形。例如，天气频道会添加很多这些有趣的 3D 小动态，比如龙卷风出现并在主持人面前移动并在演播室周围旋转。这本质上是一种 AR 效果，它使用 3D 跟踪。

　　但在广播制作中情况会变得更加复杂。因为有一个前板，它往往是图形或动画。然后是背板，即实景背后的 3D 环境，可以是 LED 屏幕，也可以是色度幕。所以它被分成三个平面层。

　　这确实是 AR 与实时图形与直播的融合。组件就这么多。这太疯狂了，因为你会想，“哇，天气频道的小短剧多有趣啊。” 而其背后实际上是大量的融合。它本质上是一个在被跟踪的人面前实时运行的视频动态。然后你真的想知道，哇，我们是怎么做到的?

　　Kirsten Nelson：客户对这些技术使用需求的解有很多层次和解释需要弄清楚。现在似乎每个人都在构建 “画卷” 或 “智能舞台”，并声称他们可以为客户提供这些新的工作流程。人们应该问什么问题来确保这些工作室和机构真正知道如何使用这些东西呢？

　　Steve Dabal：房间里的 LED 屏幕可以做任何你能想象到的事情，这有点诱人。但没有一个版本的舞台适合每种类型的制作。不同行业有非常具体的用例。您必须根据制作类型更改许多元素。

　　有些舞台是为广播制作而建的，整个系统是围绕每秒 30 帧的拍摄并使用广播摄像机构建的。但如果您是一名电影制作人，并且希望使用电影摄影机实现每秒 24 帧的速度，那么这实际上可能是一个非常重大的变化。

　　有些舞台是为电影而构建的，它们具有跟踪摄像机和制作图形的特定能力。但如果您想运行多机位并执行复杂的 3D 环境，他们的系统可能还没有做好准备。

图片摘自:https://thefamily.tv/On-L-E-D

　　Kirsten Nelson：你们有一个很大的优势，因为你们是一个独立工作室，能够尝试和制作很多不同类型的作品。现在您基本上已经处于研发实验和制作的混合模式，您学到了什么？

　　Steve Dabal：作为一个较小的工作室，我们很幸运，因为我们确实可以做很多研发实验工作。一开始，我们花了将近一年的时间来解决所有问题，将所有内容放在一起，做适当的工作与调试，然后尝各种不同的问题。

　　这是潜在客户在联系工作室时需要注意的另一件事。一定要问它会如何解决发现的问题。他们可能不想回答，但你实际上需要弄清楚他们是否知道他们的技术是如何出现故障的，以及当技术出现故障时如何修复它。

　　我们了解到的一件事是，如果我们戴上变形镜头，它就会破坏校准。很高兴知道这一点，因为现在我们只需戴上匹配的球面镜头，对其进行校准，然后戴上变形镜头即可。我们知道如何在不影响质量的情况下解决这些问题。

　　去年夏天我们还了解到，如果我们在夏季最热的一天消耗过多电力，电网可能会出现问题，导致停电。类似这样的事情，了解它何时何地会崩溃，这只能来自残酷的研发实验过程。在您投入任何形式的制作或花钱购买此类技术应用之前，您可能也应该这样做。

　　Kirsten Nelson：这是很重要的一点。这种程度的理解只能来自经验。

　　Steve Dabal：但许多新工具的积极之处在于，人们在投入使用之前可以先体验一下它们。我在制作界没看到太多这样的例子。通常在电影制作中会有更多的把关情况，因为你需要全套布景和演员以及很多东西才能开始。

　　但你可以先进入小规模研发阶段。您可以使用小型显示器、投影仪甚至绿屏来完成此类工作。并且您可以测试整个流程。然后你可能会成为一名顾问，因为你已经学会了所有的工作方式。你不会大规模地做到这一点，但老实说，当你扩大规模时，只是硬件和人员的扩充，然后你有更大的预算，所以事情会变得更容易。

　　Kirsten Nelson：顾问咨询的想法很有趣。也许在创意方面，因为在虚拟制作中可以提前完成很多工作。您认为这如何运作？

　　Steve Dabal：你几乎需要一整个咨询准备日来解决问题。目前，电影行业本身还没有太多顾问咨询的先例。但如果人们在准备时间内弄清楚执行情况，这对我来说是有意义的。这甚至可能必须在通常的预制作之前进行 - 特别是如果你必须搭建资产的话。

　　本质上，我们建议召开咨询会议，因为这是一种非常先进的工作方式。我的意思是，这一天，一切都如此顺利和快速。但你需要提前做这项工作来进行咨询并确保你得到你想要的东西。因为通过虚拟制作，您花费的资金比通常用于视频制作的资金要多。

图片摘自:https://thefamily.tv/On-L-E-D

　　Kirsten Nelson：但是你可以在后期省钱。

　　Steve Dabal：没错。而且你节省了大量的时间。

　　Kirsten Nelson：我记得您说过 AI 对话工程师现在是创意工作流程的一部分。特别是在虚拟制作中，在花时间实际捕捉内容之前，您实际上可以完全准备好大量的创意。这对您的生产方面有帮助吗？

　　Steve Dabal：理想情况下，有人会带来一份创意简报，并且他们还会分享他们已经创作的所有艺术作品。因为这样我们就离理解他们的想象又近了一大步。即使发生这种情况，我们工作的很大一部分就是翻译别人头脑中的想法。当我们必须从头开始时，我们会做很多修改。但如果我们能够通过尽早提供一些人工智能生成的参考点来消除其中一些步骤和一些限制，那将是传统工作流程的一次很酷的演变。通常是两个人一起工作，一个人提出一堆想法，然后另一个人做出回应和迭代。然后他们最终开始合作。有了这些人工智能工具，感觉有些人将能够真正加快他们的流程。

　　这正是虚拟制作的关键点。它更像是，“这就是想法。你喜欢它?因为到了那天，它看起来就会像这样。” 电影很少有这种选择，除非它是一部大型制作，你有完美的布景渲染，而且它可能看起来和那一模一样，因为你花了很多钱来制作它。但在其他任何事情上，你永远无法进行一对一的翻译。这确实是，“这是布景，它看起来像这样。你喜欢灯光吗?你喜欢这些桌子吗?你喜欢这个和那个吗?然后你实际上可以用这种方式迭代。然后当你那天出现时，每个人都会发现这正是我们在预制作中谈论的内容。

　　这些都是节省时间并通过构思过程进行构建的方法。但如果客户开始认为他们可以用人工智能在内部处理这个问题，那就会变得有趣。尤其是从版权的角度来看。我的大问题是，现在谁在进行策划?那么那些整个职业生涯都知道如何策划的人呢?公司会让所有东西看起来都和其他东西一样吗?让故事引起观众共鸣的人情味的价值是什么?

　　关于敖联（Audinate）集团:

　　敖联(Audinate)集团有限公司(ASX：AD8)的愿景是开创视听领域的新未来。敖联集团屡获殊荣的 Dante网络解决方案是全球领先的解决方案，广泛应用于专业领域的现场扩声、商业安装、广播电视、公共广播和录音等应用场所。Dante 摒弃了传统的模拟电缆，仅用一条以太网线就得以将同步的音频和视频信号进行远距离完美传输，且一次可传输到多个位置。Dante 技术平台为全球数百家领先的影音行业制造商的产品提供服务支持。敖联集团总部位于澳大利亚，并在美国、英国和中国香港设有分公司。该公司的普通股在澳大利亚证券交易所(ASX)交易，股票代码为 AD8。

　　其中Dante 和 Audinate 是敖联集团有限公司的注册商标。