【延时探究】索尼IP制作系统中视音频相对延时和绝对延时（下）

　　二、绝对延时

　　1.绝对延时是怎么产生的?有没有办法进行测量?

　　如果说相对延时是将视频或音频其一作为参考系，那么绝对延时则是以TAI、UTC、GPS等作为参考系，设备内部进行信号处理以及设备间或系统间信号传输交互都要耗费一定时间，这个时间就是绝对延时。IP信号内部处理的延时主要来自于Buffer，帧同步功能开启需要Buffer，最大延时1帧。在RX端一般也会有Buffer，用来将IP编解码(根据信号格式不同，延时一般在几行到几十行)、数据包封装、网络传输、2022-7倒换(ST 2022-7 ClassD 150μs)这些模块产生的比较小的延时，统一以帧精度校准，方便下游设备继续进行信号处理。概括来说，从A设备发流经交换机到B设备，如果A设备开启帧同步，那么B设备的输出延时为2帧;A设备未开启帧同步，B设备的输出延时则为1帧。

图11：公版IP网关内部信号处理流程

　　一般来讲基于FPGA的IP设备绝对延时较小且稳定，比如索尼CAM+CCU (来自成像器1帧)，HDCE IP适配器(单独使用TX1帧，TX-RX Pair模式2帧)，IPG(1次SDI-IP-SDI往返转换1帧)、切换台(直切1行，特技1帧);另一些软件服务器类设备，比如基于软件的多画面分割器、虚拟植入等等，它们的绝对延时相比FPGA类设备要大一点，并且不固定。

图12：IP摄像机系统延时示意

　　设备信号处理的绝对延时不容易直接测量，比较简单直接的方式是咨询厂家。有时为了核实厂家所给信息是否准确，也可以采用下文介绍的相对测试法进行辅助验证。

　　● 相对测试法：

　　相对测试法的核心思路是刻意控制LipSync视音频信号产生“错位”，比如想要测量某视频设备信号的处理时间，便可将解嵌后的LipSync视频信号经过该设备，而音频信号跳过该设备，由于IPG对于视音频信号处理时长相等，示波器所读出的AV Delay实际上便是该设备视频信号处理时间。使用此方法时建议规划最短链路完成测试，以免引入误差。

　　比如图13中：(A1V2) AV Delay=V2-V1=IP MV绝对延时

图13：相对测试法测量IP MV绝对延时

　　2. IP系统绝对延时怎么计算?

　　系统绝对延时=∑各设备绝对延时+∑交换机转发时间+∑设备间信号传输时间 ≈∑各设备绝对延时

　　通常音频系统绝对延时都小于视频系统绝对延时，所以后文讨论的系统绝对延时指的都是视频系统。在IP系统中，交换机数据转发时间(约5μs)以及各设备间信号传输时间通常小到可以忽略。如前文所述，大部分IP设备自带帧级别精度的校准，所以将系统链路中所经过设备的信号处理时间求和，即可近似为系统整体的绝对延时。图14为根据某4K IP转播车系统实际案例所绘制用于示意系统绝对延时的框图，供参考。

　　需要注意的一点是，自带帧精度的设备要根据其工作模式来确定一帧等于多少ms，比如工作在4K模式的RX IPG取20ms计算，HD模式RX IPG取40ms计算，搭载MC50选件用于上下变换的IPG经实测应取40ms计算。

图14：绝对延时理论计算框图

　　由此可见，无论是设备层面，还是系统层面，IP系统中的绝对延时与基带系统都是相近的。

　　3.什么场景需要关注绝对延时?如何测量绝对延时?

　　绝对延时是量化监看链路时常用到的概念，将监看链路中信号的所有传输和处理时间叠加求和后的数值就是监看链路整体的绝对延时。通俗讲就是现场发生一个事件，至导播在电视墙上观看到此事件经过了多长时间。不同于相对延时可以优化调整为零，绝对延时无法去除，只能尽量减少。通过图15可以清晰地对比区分绝对延时和相对延时。

图15：绝对延时示意

　　根据过往经验，绝大多数系统监看链路延时处于主观可接受范围内，但在个别大型、复杂系统的特殊应用场景下，监看绝对延时过大的问题暴露，并引发一系列连锁反应，在制作过程中对导播、摄像等工作人员产生干扰，进而影响制作体验与节目质量，后文将以实际案例分析绝对延时过大可能带来的问题。

　　监看链路绝对延时有哪些测量方法呢?比较常用的是图16所示秒表拍照法。用电脑打开在线秒表，并在电脑前架设一台讯道机，对准电脑屏幕拍摄，将拍摄信号调度至大屏，最后用手机高快门同时拍照大屏和电脑。通过计算电脑秒表及大屏回显时间的差值即可得到监看链路近似绝对延时。类似的方法，还可以用放机输出带有时码的画面至大屏替代秒表。不过以上两种方法均存有一定误差，主要源自于秒表自身精度，不论秒表还是时码，一秒内的跳变次数都是有限的，手机拍摄到的数值也经常会介于变化过程中一个模糊的数值。所以此方法理论最大误差会发生在电脑和电视其中一个刚刚跳变为新数值，另一个处于即将跳变的状态时，即最大误差为秒表步进分度值乘以2。

图16：利用在线秒表对比三种不同HDMI转换盒转换速度

　　还可以引申前文介绍的相对测试法来测量监看链路的绝对延时，如图17所示，将LipSync测试信号解嵌，视频信号经监看链路送至大屏，用摄像机拍摄大屏并将本机信号输出至示波器;音频信号完成解嵌后直接送至示波器，示波器读出的数值即为监看链路的延时。

图17：LipSync测试监看链路绝对延时

　　此外，拍摄大屏LipSync信号的方法理论上也可用于测量监看、监听的相对延时，这时需要用机头MIC拾监听音箱声音给到示波器，见图18。但拍摄大屏LipSync信号在实测过程中，发现需要反复调整摄像机画面构图，直至示波器能够正确识别信号，需要相当耐心。

图18：LipSync测试监看、监听链路相对延时

（上述两种测试方法可能存在一定误差，仅供参考）

图19：灵活使用LipSync测试信号实例

　　4.实际案例剖析

　　近期交付的4K IP转播车系统，越来越多的导演区电视墙设计方案采用以商显或高端电视机为主，辅以专业级监视器的拼接方案，屏幕尺寸通常为55英寸，数量则根据车体布局设计确定。

　　图20所示是比较典型的“5+1”案例。由设备布局图可见，该系统第一导演区共有6块大屏，其中采用5台电视机显示分割画面，为导播提供信号源监看;1台索尼PVM-X550专业监视器进行全屏显示，用以精准呈现系统4K末级HDR画面的最终效果。

图20：“5+1”导演区电视墙拼接方案

　　但是此转播车系统在制作大型综艺节目中发现了以下问题：经过音频主管与导播主观判断，需要在导演区监听延时器加300ms的延时，电视监看与音箱监听间相对定时才不至于察觉出明显不同步。

　　一个比较特殊的情况是，由于导播需要通过节目音乐来找准切换节奏，进行机位调度，加之个人工作习惯，无论单耳耳麦还是双耳耳麦佩戴都不是很适应。如果采用通话面板的鹅颈话筒又会将导演区大音量监听反馈回通话系统，送回机位通话耳机中，与现场扩声叠加后产生声学效应对摄像师工作产生干扰，导致摄像无法听清楚导播指令，影响了节目制作效率。

　　现场为了能够以最快速度解决此问题，优先考虑治标，从通话系统入手，降低通话面板拾取到导演区监听的音量。经过咨询通话厂家，与通话面板适配的鹅颈话筒基本都是心形指向或全向电容麦。考虑如果采用强指向话筒替代鹅颈话筒可能会让导播声音更加突出，于是在桌面上临时固定了一个强指向话筒，正对导播，通过模拟转IP网关接入IP通话系统中。实测在摄像机端听导播讲话有一定改善，可以勉强听清指令。但是这种解决方法效果还不够理想，只能作为临时应对方案。

图21：在导演台面架设强指向话筒作为临时改善方案

　　因为300ms的监看监听相对延时远超出了经验值，侧面说明监看链路整体绝对延时一定也是过大的。于是利用节目彩排间隙，继续寻找视频链路中带来较大延时的环节或设备，判断能否针对性进行优化，改善监看绝对延时量，目标将监看绝对延时减小至200ms以内。为此首先要找出监看链路中绝对延时最大的节点，并尽可能减少其延时量。

　　首先被怀疑的是IP MV，因为在设备IP化早期阶段，基于软件的IP MV产品延时就非常大，虽然后来被基于FPGA的IP MV取代，但未经测试尚不清楚本系统内配置的新型产品延时究竟有多大。

　　图22：利用相对延时法测量IP MV信号处理时间

　　采用相对测试法对本系统中IP MV进行测量，结果为40ms，属于中规中矩的范围，看来不是监看链路总体延时过大的主要原因。之后又用秒表拍照法测试了第二怀疑对象IP-HDMI转换盒，结果在40ms内(无法精确测量)。既然IP MV以及IP-HDMI转换盒延时都不至于产生太大影响，链路中其他设备CCU、切换台、IPG信号处理时长又是已知很小且固定的，那么链路中可怀疑对象只剩下显示设备了。

　　显示终端总输入延时=图像传输到显示终端的时间+显示终端对图像进行解析处理的时间+屏幕显示图像的时间。高质量的专业监视器是基于FPGA，延时小于一帧;其它显示终端会有不同情况，既有延时低的情况，也有延时大的情况，例如为了给观者带来更艳丽流畅的画面体验，会由图像处理芯片对画面进行增强和补偿，对画面解析处理会引入一定量的延时。高端显示终端提供了延时优化方法——将图像模式改为游戏模式可有效降低HDMI输入延时。实测多台不同型号电视的游戏模式，相比标准模式可以降低约120-200ms延时。

图23：利用服务器带时码监看对比游戏模式和标准模式

　　该系统把大屏调整为游戏模式后，经过重新校对，监听延时器由原先的300ms可以调整至140ms左右，监看链路绝对延时过大的问题得到改善，但导播不戴通话耳麦且监听音量非常大的极端应用场景中，机位通话还是会存留一定瑕疵。需要留心的一点是，更改商显或电视的图像模式后，不要忘记对其重新校色。

　　5.远程制作、分布式制作延时

　　虽然在孤岛系统内，绝对延时受关注程度不如相对延时，但在由多套子系统组成的远程制作系统中，绝对延时需要被重视起来。比如大型赛会期间，转播车系统需回传信号至MCR，此时转播车系统、MCR系统以及两者之间的信号传输都可以视作一个独立延时环节，其中任一环节绝对延时过大都可能会影响到远程制作的质量，所以此时测量系统绝对延时是十分有必要的。

　　不同于系统内部各设备之间的信号传输延时小到可以忽视，多地间比如基于LAN/WAN的远程制作、分布式制作或者是5G回传时，信号压缩编解码以及传输延时无法忽略。为了确保信号质量，规避制作风险，该如何对信号传输延时进行精确测量呢?

　　其中难点就在于多地间如何采取一致的时间参考源作为共同的测量基准。国外一家公司提供了基于PTP或NTP网络时间协议的完整测量方案：现场端用IOS手机下载App，摄像机对准手机拍摄，在系统内部署的信号分析仪即可以毫秒级精度测量出相对延时、绝对延时，还可以校准多机位一致性。在异地远程制作环境中，通过在关键节点部署多台信号发生仪和分析仪，可以实现分段测量，比如图24案例，方案中将远程制作划分为4个段，为了便于理解，笔者进行了标注——蓝色箭头代表信号发生仪发出测试信号，紫色箭头代表信号分析仪接收测试信号，相同数字为一组，测量的是所标数字相同段的绝对延时。

　　值得一提的是，此产品在大型活动中有所应用，一些转播车上也有它的身影，但是经了解其售价也相对昂贵。

图24：远程制作延时示意

　　总结

　　IP系统在相对延时和绝对延时两方面表现与传统基带系统十分接近，没有超出我们的期待，也没有表现出过大延时。由于各系统设计不尽相同，很难概括出简单的公式或是经验法则，典型值只能用作参考。长话短说，在一套精心设计的IP系统中，不应与基带系统在延时方面有太大的差异。

　　如果您正在试图计算或测量系统延时，我们非常乐意为您提供帮助，详细回答所有疑问，并协助您设计或优化系统、网络架构。