诺瓦XR解决方案

诺瓦XR解决方案

　　一、项目背景

　　XR，即Extended Reality, 扩展现实技术。它允许用户在实时生产环境中使用AR(增强现实)和MR(混合现实)将虚拟和物理世界混合在一起，以创建完全沉浸式的体验。

　　目前该技术已在电影制作、广告拍摄、大型活动中呈井喷之势。典型如好莱坞热剧《曼达洛人》、《西部世界》，“美国偶像”综艺节目中Katty Perry的表演，国内双十一晚会李荣浩现场演唱的《耳朵》，2021春晚周杰伦的《Mojito》表演等，其中均运用了大量xR元素。

　　该解决方案前端需要对应的动作捕捉设备去配合相机完成拍摄，辅以特殊的媒体服务器配合游戏引擎完成内容实时渲染及节目编辑，后端通过显示屏控制系统完成节目传送，实现屏体内容的显示。

　　这是XR拍摄时的整个系统构成图：

　　整个XR系统看起来组成复杂，用的设备很多;但LED显示屏是其中不可或缺的重要设备;因为所有的虚拟画面都要通过LED屏显示出来，再通过摄像机拍摄，才能最终完成XR场景。

　　总体上可以说：是XR发现了LED显示屏新的方向和价值。

　　二、项目优势

　　以往传统的影片是以绿幕的方式进行拍摄的。步骤是这样的：

　　1. 先用绿幕进行拍摄;

　　2. 进行大量的后期制作，最终完成影片;

　　这种绿幕影片拍摄的劣势非常明显：

　　1. 演员演戏全靠想象，导致拍摄难度极大;

　　2. 导演无法在现场看到效果，导致如果后期制作遇到难题时，只能重新拍摄，比较麻烦;

　　3. 要花费大量的人力和时间在后期制作上，相信大家都有听说过好莱坞的百万调色师的传说;

　　而XR能有效解决上述痛点，提升整个影视制作效率与水准。基于XR的影片拍摄越来越火爆;其拍摄步骤是这样的：

　　1. 将制作好的场景在LED屏上播放;

　　2. 演员直接在一个由LED屏组成的虚拟拍摄场地进行表演;

　　3. 使用摄像机直接进行拍摄，导演可以同步在监视器上看到拍摄效果。

　　这种拍摄方式的优势非常明显：

　　1. 演员不用凭空想象着完成表演;

　　2. 拍摄过程中导演就可以看到拍摄效果，如果有问题，当场就可以重拍，节约拍摄时间，减少后期的重复投入;

　　3. 后期制作简单，时间短，出片周期大大缩短;

　　XR还具有广泛的应用场景和前景：

　　1. 影视制作：一般电影约有 10%-15%的内容，需要在摄影棚制作。XR 营造了逼真的摄制空间，演员、导演可以实时看到拍摄和表演效果。这对于影视行业有着极大的吸引力。现在，国内很多地方都重视文娱、文化、文旅产业，争相落地电影制造基地、影棚等。

　　2. 产品发布会：疫情的影响，让更多的厂商把发布会转移到线上。线上发布会，成本急剧下降，受众极大扩充。加上 XR 的加持，发布会的播出效果将会超出人们的想象。发布会是实时播出，效果对 XR 的依赖很重。

　　3. 广电类节目制作：各种录播节目，可以依靠 XR 影棚，低成本达到更好的效果。

　　4. 科教：教育将是 XR 的一个典型应用场景。无论是大型现场还是线上教育，抑或是博物馆等科普场所，XR 将提供直观的、身临其境、逼真的实时效果。

　　5. 演唱会、电视节目。比如以后请嘉宾，请到的可能是虚拟的，或者是异地表演的。一方面是档期，如果嘉宾档期有限，来录制要几天，可能就请不到了。一方面是，一个嘉宾背后有着一堆经纪人、后勤等人员，吃喝拉撒费用极高。如果是虚拟的，可以解决很多问题。

　　6. 游戏及相关活动：游戏本身就是虚拟的，无论是游戏本身，还是游戏竞赛和游戏

　　活动相关，最适合虚拟和现实结合。

　　对于LED显示来说，XR应用场景是一块待挖掘的新市场。

　　新思界产业研究中心出具的《2020年全球及中国扩展现实(XR)产业深度研究报告》显示，2019年全球扩展现实市场规模为186亿美元，在预测期(2020- 2030年)以48.3%的复合年增长率增长。

　　三、项目问题

　　当前，国内大多的XR应用均是以租赁或者固装来做的，所用的LED屏也只是常规屏。这表明，大家对XR的认知不足。

　　LED显示在XR应用中的乱象：

　　1. 用三块租赁P3.9的屏，放墙角一搭，跟配套的其他租用视频媒体服务器设备接在一起，然后就成了XR;

　　2. 用固装P2.5屏，搭上几块，再搞些媒体服务器，成了XR ;

　　由于RGB排列导致不同视角时接收到的RGB光强度不一样，从而出现不同角度看到的颜色不一致，出现细节丢失，出现轮廓线和色带的问题;显示的颜色不精准，存在偏色，如显示的人脸偏红等，导致后期制作投入大;显示画面的对比度不足，导致拍摄景深不足等问题。

　　那XR应用需要什么样的LED屏?

　　在现在，要有效地提升画质，拍摄的内容的质量也是很关键的。不得不聊聊HDR了。因为HDR就是为了还原真实世界而存在的。

　　Nova是行业内第一家支持HDR显示的公司，并且我们不仅支持了HDR10，还支持了广泛应用于广电领域的HLG，得到许多欧美客户的青睐。像欧洲的LONG公司就是使用的我们的HDR解决方案。

　　XR对LED屏的基础要求：

　　1. 拍摄无扫描线;

　　保证屏体的视觉刷新率要高，以保证摄像机拍不到扫描线;

　　屏体设计：低扫数，静态显示最佳，诺瓦建议不要超过8S;

　　控制系统：配合IC保证低灰刷新率够高;支持genlock，能使显示屏与视频源和摄像机保持同步;

　　2. 保证屏体灰度级数要够高，色彩控制更精准;

　　屏体设计：选用的RGB灯珠能覆盖客户使用的色域范围;设计的屏体没有耦合(屏体设计和IC选用)，白对黑的耦合，黑对白的耦合以及跨板耦合等。

　　控制系统：配合IC保证提升屏体的灰度级数; 能对屏体进行标定：校准屏体0~255的亮度符合EOTF曲线;校准屏体的色彩准确度，保证δE<4 。

　　3. 任意视角显示色彩一致

　　保证RGB芯片间距足小。屏体设计：选用更小尺寸的LED芯片;面罩进行特殊设计.

　　控制系统： 在出现问题时，能快速调节RGB的配比保证，一些机位显示色彩正常。

　　XR对LED屏更高的需求：

　　8K、HDR、HFR 120Hz/144Hz/240Hz、精准色彩、10bit/12bit、超低延迟

　　三、解决方案

　　在控制系统端，诺瓦可提供如下解决方案：

　　1.方案架构

　　VMP+MX40 Pro+A10s Pro

　　诺瓦科技xR沉浸式解决方案

　　xR沉浸式解决方案，聚焦xR显示应用场景，精准还原画面真实色彩、保留图像细节，搭载高帧频、相位调节，倍频等处理技术，解决xR拍摄动态过程中，由于显示屏刷新不足，由之而来的扫描线、黑场问题。同时搭载画质引擎技术，进一步增强显示画质，让LED显示屏重获新生，打造至臻xR解决方案。

　　2.方案特点

　　小间距技术发展的突飞猛进，LED显示画质被寄予了越来越高的期待，尤其在影视拍摄、xR等高端显示应用领域。

 画质引擎&动态引擎

　　全新MX系列控制系统搭载诺瓦全新一代画质引擎和动态引擎，全方位提升LED屏显示画质，打造身临其境的沉浸式观感，为xR场景拍摄提供充分保障。

 VMP

　　Vision、Management,、Platform ——诺瓦全新LED显示操控平台，集设计，调试，监控，管理于一身。全流程工作平台，工作质量和效率兼顾，解放想象力限制，每个人都可以是显示屏的设计师。

 多视角实时颜色调节

　　为了彻底解决由于摄像视角变化，产生的偏色问题。在VMP + MX40 Pro + A10s Pro的基础上，给出了实时颜色调节的解决方案。

　　VMP操作平台，先将摄像机固定视角的屏体颜色信息进行调节预存，Genlock 信号连接摄像机或 Genlock信号发生器;当摄像机运动到此固定视角后，实时调取预存的信息，数据实时下发，保证从该视角捕捉到的画面颜色信息准确。另外，实时颜色调节可以满足多机位同一时间，同时拍摄，解决多机位不同角度画面颜色偏色问题。

 倍频 + 插帧

　　倍频，可让LED显示屏适配更多的摄像机快门角度，使得显示屏刷新时间与摄像机快门时间保持一致，去除黑场，扫描线，从而为摄像机拍摄显示屏提供更灵活地选择。

　　插帧，原理和倍频一致。只不过倍入的帧频为不同视频源画面。可使得多台摄像机，和控制器通过Genlock连接后，与其分别对应要拍摄的视频素材帧频率，进行相位偏移后同步。以保证每个摄像机可以完美捕捉到各自对应的视频素材 背景，从而在同一时间线上，同一场景，对不同内容的素材进行输出。成本节省，一劳永逸。

 相位调节

　　当摄像机曝光时间和LED刷新时间通过倍频功能调节一致后，开启相位调节，调整使摄像机

　　拍摄频率和显示屏刷新频率保持同步，从而有效解决丢灰、增色，扫描线、黑线的问题。

 Shutter sync

　　MX40 Pro 可通过Shutter Sync同步摄像机快门速度，使显示屏自动调节适配摄像机曝光时间和频率，再结合相位偏移，有效解决扫描线，黑场问题。

 支持高帧频输入

　　控制器最高支持达144HZ输入帧频，保证拍摄高速运动物体时，能减少画面残影、拖影等问题;

 HDR高动态范围显示

　　支持HDR高动态显示，屏体颜色、亮暗部细节得到精确还原，为拍摄现场创建生动场景;

 超低延迟

　　系统延迟最低可达1帧，现场拍摄衔接更流畅。

　　五、 项目案例

　　加拿大影视技术制作公司JOEL LAW MEDIA与Promosa联合打造，使用NovaStar专业XR显示控制解决方案。