谷歌正在将沉浸式媒体技术提升到一个新的水平。一组研究科学家和工程师团队日前分享了一种用于光场视频的实用系统，并展示了录制、重建、压缩和传送高质量沉浸式光场视频的能力。其中，光场视频的体积之小足以通过常规Wi-Fi传输，从而大大促进了沉浸式增强现实和虚拟现实领域的进步。

由于能够在模拟环境中实现一种仿如现实般的感觉，沉浸式增强现实和虚拟现实在近年来受到了主流的关注。希望行走在约塞米蒂的红杉林而非单调乏味的客厅？或者在亲临工作室里欣赏艺术家创作雕塑？这可以通过沉浸式增强现实/虚拟现实技术实现。

尽管这个领域尚处于新兴发展阶段，但谷歌团队已经解决了一个关键挑战，在光场视频方面取得了重大的研究进展。由谷歌研究科学家迈克尔·布罗克斯顿（Michael Broxton）和谷歌高级工程师保罗·德贝维奇（Paul Debevec）领衔的研究团队计划在SIGGRAPH 2020大会演示一个全新的系统。今年的大会将转到线上进行，而共聚一堂的行业专业人士将从不同的角度探讨计算机图形和交互技术，并继续将其作为展示前瞻性思维和研究的首要场所。

相关论文：IMMERSIVE LIGHT FIELD VIDEO WITH A LAYERED MESH REPRESENTATION

论文第一作者布罗克斯顿表示：“这是我们在光领域研究的最新成果。我们令这项技术变得实用，并使我们更接近于为更多消费者设备提供真正的沉浸式体验。图片和视频对移动设备的日常体验扮演着巨大的角色，而我们希望沉浸式光场图像和视频能够在未来的AR和VR平台中发挥同样重要的作用。”

谷歌研究人员曾在SIGGRAPH 2018大会展示过类似的研究，当时他们在沉浸式虚拟现实中引入了图片真实感的光场静止图像。然而，这个全新的系统为沉浸式媒体内容增加了另一个关键要素：视频。光场视频为用户提供了一个更为动态的虚拟环境，允许其浏览跨度超过180度的场景。用户可以在虚拟世界中自由窥探角落，并享受更大的深度感。所述系统能够捕获早期方法难以支持的内容，如反射表面。这样可以带来一个更为真实的环境。例如，海浪反射的阳光，或者汽车闪亮引擎盖反射的光线能够随着用户的注视而自然变幻，一切就像现实世界一样。

团队研发了一个低成本的装置来录制沉浸式光场视频。所述装置由46个安装在轻质亚克力圆顶的运动相机组成。利用由同一谷歌研究小组成员在2019年开发的机器学习算法DeepView，团队将来自每台相机的视频流组合成一个场景的3D表示。论文介绍了一种全新的“分层网格”表示，它由一系列具有半透明纹理的同心层组成。通过从后到前地渲染所述层，场景将能变得生动逼真。在以前，合成相机一开始未能捕获的视点是一个非常困难的问题，但谷歌团队的新方法解决了这一痛点，并允许用户在探索光场视频内容时自由地转动头部。

这项研究的另一个突破是数据压缩。谷歌团队希望开发出一个不仅能够重建视频并获得真正沉浸式AR/VR体验的系统，而且可以通过消费者AR/VR头显，甚至是Web浏览器访问体验。所述系统能够在压缩光场视频的同时保持原始的视觉质量，并使用传统的纹理贴图和广泛支持的视频编解码器来实现。可以说，他们已经成功地将下一代媒体格式从当今的图像和视频压缩技术中剥离出来。

布罗克斯顿指出：“用户将能够通过一个普遍的、快速的互联网连接来传输这种光场视频内容。克服这个问题将能把这项技术带向更广泛的受众。”

德贝维奇总结到：“对于完成这个项目，我们感觉我们已经克服了让虚拟体验变得真实、身临其境、可分发和舒适的主要障碍。我非常期待AR/VR创意社区利用这项技术创作的体验。”