LED显示在虚拟制作中的技术及应用

　　摘要：近年来，随着步入后疫情时代，旅行的限制使得到达实景地进行影视拍摄变得越来越困难，而使用LED显示配合虚拟引擎技术的虚拟拍摄技术因其“所见即所得”的优势正受到影视制作行业的青睐。本文基于使用LED显示拍摄的几部电影及剧集，对比了使用LED显示屏与绿幕进行虚拟拍摄的优缺点，对LED虚拟摄影棚的种类和对应的产品做了介绍，并且针对LED显示屏在虚拟拍摄中的各种痛点，详细的探讨了关键技术。

　　1 引言

　　近一两年来，使用LED显示屏进行虚拟拍摄制作从美国、欧洲、韩国等地发起，已经逐渐成为一种流行的新型拍摄技术。

　　虚拟拍摄的历史起源于上世纪90年代的电视转播，在虚拟演播室内，主持人站在绿幕前完成节目的拍摄，其余的后期制作均由计算机辅助完成。随后，一些电影开始使用蓝绿背景进行虚拟拍摄。而2019年则开始了使用LED显示屏进行虚拟拍摄的新时代，2020年，电影《新蝙蝠侠》也使用LED显示屏进行虚拟拍摄。

　　相较于传统的绿幕抠图的方式，由于LED显示屏能提供真实光影效果与细腻色彩表现，获得如同真实场景般的环境光及反射折射效果，可以快速切换场景，节省转场时间，导演所见即所得，演员可感知环境的变化，减少了后期制作的时间以及搭建场景的工期，降低了总的拍摄成本，因此使用LED显示屏进行虚拟拍摄的市场逐步成熟，有非常大的前景。

　　后疫情时代的到来极大的促进了虚拟拍摄的流行，新冠大流行使电影和剧集的实地实景拍摄变得困难重重，而虚拟制作使得所有拍摄工作都可以在安全的摄影棚内完成，工作人员也无需经历长途旅行的风险。同时各类流媒体平台也大大增加了各类网剧的需求量，渲染引擎技术的发展也极大提升了虚拟制片的效率并降低了总制片成本。

　　虚拟拍摄的整个系统方案包含LED显示屏及控制系统、渲染服务器、摄像系统、摄像机追踪系统、动捕系统、灯光系统等。其中LED显示屏作为成本最高的系统之一其选型和技术参数就显得尤为重要。本文基于我司通过提供LED显示系统解决方案参与的几部影片及剧集的拍摄，对比了使用LED显示屏与绿幕进行虚拟拍摄的优缺点，对LED虚拟摄影棚的种类和对应的产品做了介绍，并且详细的探讨了针对LED显示屏在虚拟拍摄中的各种痛点如何做好关键技术选型。

　　2 使用绿幕与LED显示屏进行虚拟制作的对比

　　2.1使用绿幕进行虚拟制作

　　优点：

　　绿幕的主要优点是前期成本低，在拍摄初期不需要大额的资金与设备的投入。

　　缺点：

　　虚拟场景缺乏真实感：在绿幕背景里拍摄，拍摄完成后将角色的背景抠除，再将无背景的视频放入虚拟场景中，这样的方式会让大面积的虚拟背景看起来不真实。

　　边缘畸变：抠像会造成的人或物体的边缘褶皱，在后期制作时需要专门进行处理。

　　反光问题：当角色穿着高反光的服装时，盔甲上绿幕的反光会为后期制作带来昂贵的制作成本。拍摄高光反射物体时会出现的溢色问题，需要在后期制作过程中增加反射及颜色校正的工作。

　　后期制作成本：使用绿幕进行虚拟拍摄的后期制作时间较长，降低了影片制作的效率，例如通过绿幕拍摄一部120分钟时长的影片，后期制作大约需要1年左右的时间。

　　2.2使用LED显示屏进行虚拟制作

　　优点：

　　1)所见即所得，提升影片拍摄质量：通过LED显示屏实现拍摄现场的沉浸式体验，使得导演与演员所见即所得，从而提升影片质量;演员可以直接感受到拍摄现场的各种环境，以及光影的变化，使得表演更加真实，有利于演员的表演发挥;导演和主创团队也可以直观看到拍摄环境，实时合成预览，根据剧本实时修改场景效果，沟通效率大幅提高，达到一个后期前置的目的。

　　2)节省拍摄的时间和成本：通过LED显示屏可以实现虚拟场景的快速切换，不受时空限制，实时修改调整场景的内容，大幅度提高换景改景的效率，节省转场对时间和精力的消耗，极大的缩短现场拍摄的周期;在摄影棚里完成大场面的拍摄，不必搭建实物的场景，极大的降低了制作和搭建实景的成本，减少了物料的浪费，同时也减少了对环境的污染。

　　3)缩短后期制作的周期：通过LED显示屏进行虚拟拍摄缩短了后期剪辑工作量和时间，有效的解决了传统绿幕拍摄周期长的痛点，加速了电影制作的效率，提高了大片上映的节奏，降低了总体制作成本。

　　4)真实的光影效果：LED显示屏可提供真实的光影效果，和细腻的色彩表现，让拍摄画面更加完美。能够呈现准确的光源，获得如同真实场景般的环境光及反射折射效果，实时展示场景所带来的高光及反射，反射体的反射效果更加真实，完美模拟真实场景。同时也解决了传统抠像中半透明玻璃等环境所带来的棘手问题。

　　缺点：

　　显而易见的的缺点是在拍摄初期需要通过购买或者租赁的方式获得一块LED显示屏，投入成本较高，其次是LED显示屏在虚拟拍摄中仍存在着一些痛点：

　　拍摄摩尔纹，尤其是镜头聚焦在屏表面时;

　　水平和垂直方向在大角度时会有色坐标的偏差;

　　屏体表面温度高，影响演员的表演，也因温度变化造成色坐标的偏移;

　　低亮低灰偏色，花屏，细节有损失;灰阶不连续，有断层;

　　屏体表面反光造成穿帮;

　　刷新率低，拍摄时易产生扫描线或暗条纹;

　　作为打光屏使用时因为光谱不连续造成显色性不足;

　　LED箱体或模组间拼接的缝隙，以及由拼缝引起的亮暗线。

　　正是因为LED显示屏用于虚拟拍摄时存在着这些痛点，所以针对不同的需求和不同的应用场景，需要对LED显示屏的关键技术指标进行深入研究。

　　3虚拟摄影棚的分类及其对应的LED显示产品

　　3.1 虚拟摄影棚的分类

　　通常可按摄影棚的面积，或者所需要LED显示屏的尺寸大小分为大型/中型/小型三大类：

　　1)小型摄影棚

　　影棚面积在100m²以下，层高在3m-7m左右;此规模的影棚适合于直播带货、婚纱拍摄、小型节目活动、虚拟演播室等;应用的LED显示屏通常有立面屏和地砖屏，但没有天幕屏;这种规模的影棚里LED显示屏的尺寸需求为100m²左右，例如立屏65m²，地砖屏35m²。

　　2) 中型摄影棚

　　影棚面积在100-1000m²区间，500m²左右居多，层高在10-15m左右;此规模的影棚适合于电影及电视剧的拍摄、广告及TVC拍摄、综艺节目、新品发布会等;采用的LED显示屏通常有立面屏、天幕(打光)屏等，但没有地砖屏，地面通常会布置实景;这种规模的影棚里LED显示屏的尺寸需求为500m²左右，例如立面屏300m²，天幕屏200m²。

　　3)大型摄影棚

　　影棚面积在1000m²以上，层高在15m以上;此规模的影棚主要适用于电影及电视剧的拍摄等;采用的LED显示屏通常有立面屏、天幕(打光)屏等，但没有地砖屏，地面通常会布置实景;这种规模的影棚里LED显示屏的尺寸需求在1000m²以上，例如立面屏600m²，天幕屏400m²。

　　3.2对应的LED显示产品构成

　　1)立面屏

　　立面屏像素点间距P1.5-P3;亮度最低1000nit，通常会达到1200-1500nit，峰值亮度可达2000nit;刷新率至少3840Hz，通常会达到7680Hz;模组支持前后维护;支持内、外弧拼接，通常相邻箱体最大角度可达5-10度;8000:1 超高对比度;视角极大，超广视角观看及拍摄无明显偏色;高鲁棒性，考虑到影棚内可改变屏体结构匹配不同的场景;具备一定程度的防潮防尘的防护性，适合现场的烟雾等实际场景需要。

　　2)天幕屏

　　天幕屏通常用于打光，或者给用于拍摄的镜面物体反射使用;像素点间距P3-P6，亮度高，最低2000nit，如果用于打光的天幕屏亮度可到6000nit;色温可调范围大，甚至可以做到2800-13000K的无极色温可调;通常用镁铝合金，重量轻，平均重量小于20kg/m²;单个箱体尺寸大，拼装快捷，箱体间有拼装快锁，有匹配吊架的安装结构;模组可更换、前后维护;刷新率要求不高，通常达到3840Hz即可，对比度在5000：1左右。

　　3)地砖屏

　　像素点间距P2-P5;通常采用压铸铝框架，CNC加工完成，精度高，可实现箱体间无缝拼接;面罩采用进口高透耐磨PC材料，防刮防磨颜色均匀无色差，防滑级别>=R9;点对面承受柱，承受重量高达 2000KG/平方米;框架内设导水槽，可达前后IP65的防水设计;另外在某些应用场合可以人屏互动、多点触控。

　　4 LED显示在虚拟制作中的关键技术

　　4.1点间距

　　点间距对LED显示屏的成本起决定性作用，但同时点间距对摩尔纹的影响也非常重要，点间距越小则在相同相机和镜头调节下产生的摩尔纹越小;但在实际拍摄应用中，为了消除摩尔纹，拍摄时摄像机都不会聚焦在屏表面，虚焦情况下点间距已经不重要了，所以目前对于立面屏行业普遍能接受P2.6及以上，小部分需要实焦拍摄的才会选用P2以下点间距的产品。

　　封装方式

　　不同的封装方式对LED显示屏的拍摄和使用效果影响较大，SMD(Surface Mounted Devices)在成本上具有优势，而COB(Chip on board)和GOB(Glue on board)在防护性上有优势，但对于虚拟拍摄，我们更推荐使用IMD(Integrated Matrix Devices)多合一集成式封装，通常为2x2的形式，即四合一。

　　IMD发光面积越大，越接近面光源，发光出口率达到 80% 以上，优化了摩尔纹效果，使得镜头、景深和光圈的调节的自由度更大;能够提供近 180゜ 更广阔的拍摄视角，大视角下亮度变化和色度变化较小;让小间距的生产工艺变得跟大间距一样简单，提高生产效率;产品强壮性及防护性有效提升，让安装维护更容易，后期拆装对边缘灯珠的影响更小;吸光槽提高对比度，沟槽防串光技术画面更清晰，表面打散解决墨色一致性问题。

　　灰度级数和色域范围

　　灰度级数是指LED显示控制系统控制LED驱动芯片能呈现出的灰度范围，与视频源输入的8/10/12bit并无直接关系，目前行业内大部分使用的驱动芯片的显示位数为16bit，另外通过时间和空间上抖动的方式可以增加额外的显示灰度级数，例如18bit或22bit等，进一步增强低亮高灰的表现能力。

　　对于影视行业的虚拟制作而言，LED显示屏所表现的色域范围显然是越大越好，但基于目前LED发光芯片的限制BT2020是很难达到的，DCI-P3的色域范围是目前较为主流的选择。同时依托于控制系统的色彩管理能力，是可以在灯珠及目前驱动电流下可达的最大色域范围内做精准调节的，可以精准的转换为其他不同的色域，例如NTSC/PAL/SRGB/BT709等。

　　扫描数与刷新率

　　对于需要用摄像机拍摄的LED显示屏而言，刷新率是非常重要的一项参数，3840Hz的刷新率已经不能满足虚拟拍摄的应用，7680Hz的刷新率逐渐成为主流，较低的刷新率非常容易造成在摄像机拍摄后形成扫描线或亮暗线。根据10倍刷新理论，通常LED显示屏的刷新率需要达到摄像机快门速度的十倍以上，才能不会观察到扫描线或者暗条纹。

　　在相同的灰度时钟(或灰度时钟倍频系数)下，扫描数越多刷新率越低。对于专业的虚拟拍摄场景，例如电影的拍摄，目前行业内基本上都是把扫描数做到10扫以下的，这主要与镜头成像有关，目的是同一时间内点亮的行数越多越好，尤其是在摄像机上下高速摇动的时候极低扫描数的LED显示屏效果优势尤为明显。

　　讲到刷新率就不得不提低灰刷新率，通常我们说的3840Hz或者7680Hz指的是在最大灰度下的刷新率，但当LED显示屏显示低灰内容时，尤其是当显示灰度降到64级以下时，刷新率往往会大幅降低，在1灰度时甚至有可能降低到60Hz，不同品牌型号的驱动芯片在相同的行扫设计下低灰刷新率差别会非常大。

　　为了解决摄像机拍摄时产生的暗亮线，控制系统会采用同步锁相及快门锁等功能，其目的是使得LED显示屏在摄像机快门打开的这一段时间内每一扫都刷新相同次数，以避免拍摄到暗黑条纹。

　　4.5延时

　　对于虚拟拍摄而言，整个系统的延时是非常重要的，因为LED显示屏显示的渲染内容通常是跟随摄像机位置移动而改变的，极低的系统延时可以使得摄像机与LED显示画面帧频一致，适应实时场景变化，保持同步、稳定的画面。目前摄像机姿态跟踪回传大概2-3帧，渲染引擎渲染3帧，控制器2帧，带RAM乒乓的驱动芯片1帧，整体的延时在8 – 9 帧左右;对于整个系统而言，系统帧频的提升，例如从30Hz提升到60Hz可以降低整个系统的延迟;另外对于控制系统，带载减少一半的情况下可以减少一帧的延迟。

　　4.6多通道虚拟可视化拍摄技术

　　这并不是一项新的技术，以前在球场周边LED屏上我们就有虚拟广告转播技术，采用的就是类似的技术。而在虚拟制作中，利用帧内视频重构或者帧率倍乘的技术，主要有以下两种应用场景：插入绿幕帧，为后期抠像做后期处理留下可能，一旦一次拍摄效果不佳时不需要翻拍，可进行后期处理;另外一种应用场景就是多机位的透视拍摄，LED屏可以同时显示对多个不同位置的摄像机的渲染内容。

　　4.7系统稳定性

　　稳定性取决于几个关键因素，例如控制系统、电源、驱动IC、及灯珠的稳定性，通常会通过备份增强系统的稳定性，例如双控制卡备份，双电源备份，网络链路的备份，控制器备份等。对于影视拍摄而言，耐操性也是非常重要的，因为现场往往会搭建实景，产生烟尘、水雾等，对防护等级会有较高要求，例如IP67，箱体表面还往往会增加防水防尘涂层。

　　4.8 温度与功耗

　　对于影视拍摄而言，因为演员往往要站在LED屏幕前进行表演，那么发热量更低、更节能的LED显示屏则可以提供更舒适的拍摄环境，通常会采用共阴驱动技术(Common Cathode)，PCB敷铜设计(Copper Clad)，倒装LED(Flip Chip)等技术去降低功耗和发热。

　　4.9显色指数

　　传统打光灯亮度高，对色彩的还原效果高，CRI显色指数高，但功能单一，只用于照明，不能用于图像显示。传统的LED天幕屏有很好的显示功能，可作为辅助显示使用，同时最大亮度可达5000nits以上，但由于天幕屏的白光是RGB三色合成，合成的白光CRI显色指数低于传统打光灯。我们通过与LED灯珠厂商深度合作，将高显指的白光显示与RGB显示结合，创新的开发出使用RGBW关键器件的显示补光屏，兼顾二者的优点，能够灵活地切换LED显示和照明补光的功能，显色指数CRI可达90以上。

　　5 总结

　　总的来说，使用LED显示进行虚拟制作还是一个全新的领域，无论是在技术参数的研究还是产品的选型上都需要我们转变思路，原先LED显示屏是给人眼观看的，而用于虚拟拍摄的LED显示屏主要“观众”为摄像机，因此摩尔纹、扫描线等原先人眼不容易看到的显示现象会对拍摄的效果产生严重的影响，本文从虚拟拍摄这一应用场景的痛点出发，详细的探讨了此类LED显示的关键技术和选型，相信LED显示行业在未来会不断创新，助力影视行业和虚拟制作的发展。

　　参考文献

　　赵建军，陈军，肖翱. 基于LED背景墙的电影虚拟化制作实践探索与未来展望[J].现代电影技术,2021(12).

　　黄炳凯，LED 显示屏之 10 倍刷新理论，2014.

　　作者简介

　　[1]严振航(1991-)，男，广东深圳人，理学硕士，中级工程师，深圳市奥拓电子股份有限公司，主要研究方向: LED显示控制系统、XR虚拟拍摄，E-mail:yanzh@aoto.com 。

　　[3]王勇(1976-)，男，湖北鄂州人，硕士，高级工程师，深圳市奥拓电子股份有限公司，主要研究方向：显示控制技术、软件工程， E-mail:wangy@aoto.com 。

　　[4]胡绪桢(1989-)，男，胡绪桢，理学学士，中级工程师，深圳市奥拓电子股份有限公司，主要研究方向:XR虚拟拍摄技术、灯光系统工程，E-mail:hxz01@aoto.com

　　通讯作者：

　　[2]王利强(1983-)，男，河南鹤壁人，理学硕士，中级工程师，深圳市奥拓电子股份有限公司，主要研究方向:视频及图像处理、LED显示屏校正技术、计算机软件技术、系统工程， E-mail:wanglq@aoto.com 。