在 VR 头显里想象这样一个场景:
你站在中越边境的河谷,观看壮美的景色——但头显里播放的并非普通的全景视频,而是可以随着身体移动和头部倾斜,看到被画面中的物体挡住的更多东西,甚至……整个场景。
比如你的面前有一个油桶,但你可以稍微挪动一点,或者把头向右倾斜,就能看到油桶背后的溪流:
这显然不是一个几百块钱的双摄全景摄像头就能实现的。其实,这部视频的拍摄手法叫做 Volumetric Capture,翻译成中文叫“容积捕获”,采用特殊的设备,像三维空间扫描一样记录下了摄像头周围所在区域的全部物理环境。拍摄它的公司叫做 HypeVR,该公司联合创始人泰德·施洛维茨告诉我,这段全息影像的每帧数据量就高达3GB。
昨天,PingWest品玩在英特尔的 VR 发布会上粗略体验了一下 HypeVR 所拍摄的这段内容。今天我们又找到了该公司的创始人兼 CEO Tonaci Tran,更深入地体验和了解了这项技术。
这段全息影像的记录时间是2016年11月14日,地点是中越边境的板约瀑布。简单来说,HypeVR 开发的这种新视频格式,具有三个特性:360°全景+高清+六自由度。
全景不消细说。在清晰度方面,一般的全景摄像采用多相机阵列(比如 GoPro)的方案,和 HypeVR 根本没法比——该公司的一个多相机阵列就要用到 Velodyne 开发的激光雷达 (LiDAR),再配上12台世界上最顶级的 Red 超高清摄像机。仅供参考:Red 的分辨率 为5K,12台……清晰度难以想象。
至于六自由度,英文叫做6 degrees of freedom (6dof) 是一个物理上的术语,指的是物体能够在三维空间里,在 xyz 三轴方向上自由运动以及围绕三轴自由转动的能力。在 VR 业界,6dof 是一种技术指标,指的是当头显的佩戴者在三维空间里前后左右上下移动和摇头、摆头时,头显里所显示的空间画面能够随之变化,就像在真实空间里一样。
但并非所有的 VR 内容的录放都支持6dof。如果一个全景摄像头放在定点上录制内容,它拍下的其实也只是一个二维的画面。而在拍摄中加入激光雷达,使得最后产生的二维画面多了一维——空间,其实是 HypeVR 全息影像录制技术最大的不同。这样录制和最后剪辑制作完成的内容,不是二维的画面,而是具有空间感的全息影像。
还有一个问题:最后成片中的画面里,那些桶、水牛和其他挡住视野的物体,它们背后的画面又该怎样拍呢?HypeVR 以商业机密为由没有想我透露太具体的细节,但我猜测采用的方法应该类似于:先在一个点拍摄 (point zero),然后更换一个能拍到障碍物背后的点 (point a),然后按照从 0到 a 的距离和方向,在全息场景重建的时候,拼接 a 的内容到 0的内容里。
蹲下,或者往左/右边走,就能看到被水牛挡住的地方。这是其它 VR 视频绝对无法做到的。
但显然,这样制作出来的最终内容格式肯定不是普通和 VR 视频一般采用的 mp4格式,而是一种全新的格式。Tran 对我表示:
从容积捕获 (volumetric capture)、场景重现 (reconstruction)、压缩编码 (compression codec)、播放和直播串流所采用的图像引擎 (graphics engine for playback and volumetric streaming),一切都是全新的。我们认为这就是视频 2.0时代。
Tran 是美国出生的越南人,曾在加州大学圣地亚哥分校学习数字媒体创作。因为 10 年前创立了第一家 Red 高清电影摄像机出租服务,他在越南也引起过不小的轰动,还曾因此在越南电影界获得了不小的名气。
2014 年,为了实现“打造下一代视频技术”的梦想,他和电影巨头二十世纪福斯的数字技术专家泰德·施洛维茨一同创立了 HypeVR。
该公司总部位于加州圣地亚哥。Tran 告诉我,他认为 HypeVR 在相机阵列、全息场景重建、6dof 全息视频压缩和全息视频串流方面,有着绝对的技术优势。至于公司的技术优势,他用一句话总结为“独家的容积捕获、制作和播放引擎,专为视频 2.0 时代打造。”也正因此,英特尔将 HypeVR 视作重要的合作伙伴,邀请其参加 CES 的发布会和现场演示。
接连两天由浅及深地体验了 HypeVR 带来的全息可互动影像之后,我心理对于 VR 视频的芥蒂消除了一些。之前我对所谓的 VR 内容不太感冒的原因就在于,它们只是把我绑在一个固定的地方,然后允许我转动脑袋,并没有什么所谓的“沉浸”感,反而感觉自由被限制了。
我问 Tran “在你们这段视频里,我到底有多大的自由度?”他告诉我:“只要这条头显的线够长、头显还在传感器追踪的范围里,你想走多远走多远。”