每帧3GB！这项虚拟现实技术要重塑空间全息影像

　　在 VR 头显里想象这样一个场景：

　　你站在中越边境的河谷，观看壮美的景色——但头显里播放的并非普通的全景视频，而是可以随着身体移动和头部倾斜，看到被画面中的物体挡住的更多东西，甚至……整个场景。

　　比如你的面前有一个油桶，但你可以稍微挪动一点，或者把头向右倾斜，就能看到油桶背后的溪流：

　　这显然不是一个几百块钱的双摄全景摄像头就能实现的。其实，这部视频的拍摄手法叫做 Volumetric Capture，翻译成中文叫“容积捕获” ，采用特殊的设备，像三维空间扫描一样记录下了摄像头周围所在区域的全部物理环境。拍摄它的公司叫做 HypeVR，该公司联合创始人泰德·施洛维茨告诉我，这段全息影像的每帧数据量就高达 3GB。

　　昨天，PingWest品玩在英特尔 的 VR 发布会上粗略体验了一下 HypeVR 所拍摄的这段内容。今天我们又找到了该公司的创始人兼 CEO Tonaci Tran，更深入地体验和了解了这项技术。

　　这段全息影像的记录时间是 2016 年 11 月 14 日，地点是中越边境的板约瀑布。简单来说，HypeVR 开发的这种新视频格式，具有三个特性：360°全景+高清+六自由度。

　　全景不消细说。在清晰度方面，一般的全景摄像采用多相机阵列(比如 GoPro)的方案，和 HypeVR 根本没法比——该公司的一个多相机阵列就要用到 Velodyne 开发的激光雷达 (LiDAR)，再配上 12 台世界上最顶级的 Red 超高清摄像机。仅供参考：Red 的分辨率 为 5K，12台……清晰度难以想象。

　　至于六自由度，英文叫做 6 degrees of freedom (6dof) 是一个物理上的术语，指的是物体能够在三维空间里，在 xyz 三轴方向上自由运动以及围绕三轴自由转动的能力。在 VR 业界，6dof 是一种技术指标，指的是当头显的佩戴者在三维空间里前后左右上下移动和摇头、摆头时，头显里所显示的空间画面能够随之变化，就像在真实空间里一样。

　　但并非所有的 VR 内容的录放都支持 6dof。如果一个全景摄像头放在定点上录制内容，它拍下的其实也只是一个二维的画面。而在拍摄中加入激光雷达，使得最后产生的二维画面多了一维——空间，其实是 HypeVR 全息影像录制技术最大的不同。这样录制和最后剪辑制作完成的内容，不是二维的画面，而是具有空间感的全息影像。

　　还有一个问题：最后成片中的画面里，那些桶、水牛和其他挡住视野的物体，它们背后的画面又该怎样拍呢?HypeVR 以商业机密为由没有想我透露太具体的细节，但我猜测采用的方法应该类似于：先在一个点拍摄 (point zero)，然后更换一个能拍到障碍物背后的点 (point a)，然后按照从 0 到 a 的距离和方向，在全息场景重建的时候，拼接 a 的内容到 0 的内容里。

　　蹲下，或者往左/右边走，就能看到被水牛挡住的地方。这是其它 VR 视频绝对无法做到的。

　　但显然，这样制作出来的最终内容格式肯定不是普通和 VR 视频一般采用的 mp4 格式，而是一种全新的格式。Tran 对我表示：

　　从容积捕获 (volumetric capture)、场景重现 (reconstruction)、压缩编码 (compression codec)、播放和直播串流所采用的图像引擎 (graphics engine for playback and volumetric streaming)，一切都是全新的。我们认为这就是视频 2.0 时代。

　　Tran 是美国出生的越南人，曾在加州大学圣地亚哥分校学习数字媒体创作。因为 10 年前创立了第一家 Red 高清电影摄像机出租服务，他在越南也引起过不小的轰动，还曾因此在越南电影界获得了不小的名气。

　　2014 年，为了实现“打造下一代视频技术”的梦想，他和电影巨头二十世纪福斯的数字技术专家泰德·施洛维茨一同创立了 HypeVR。

　　该公司总部位于加州圣地亚哥。Tran 告诉我，他认为 HypeVR 在相机阵列、全息场景重建、6dof 全息视频压缩和全息视频串流方面，有着绝对的技术优势。至于公司的技术优势，他用一句话总结为“独家的容积捕获、制作和播放引擎，专为视频 2.0 时代打造。”也正因此，英特尔将 HypeVR 视作重要的合作伙伴，邀请其参加 CES 的发布会和现场演示。

　　接连两天由浅及深地体验了 HypeVR 带来的全息可互动影像之后，我心理对于 VR 视频的芥蒂消除了一些。之前我对所谓的 VR 内容不太感冒的原因就在于，它们只是把我绑在一个固定的地方，然后允许我转动脑袋，并没有什么所谓的“沉浸”感，反而感觉自由被限制了。

　　我问 Tran “在你们这段视频里，我到底有多大的自由度?”他告诉我：“只要这条头显的线够长、头显还在传感器追踪的范围里，你想走多远走多远。”

　　部分图片来源：英特尔、HypeVR