沉浸式体验飞鸟的快乐：从一张照片生成 3D 航拍视频

导读：选自 googleblog　　机器之心编译　　机器之心编辑部　　来自谷歌的研究团队提出了一种 3D 视觉体验生成新方法 Infinite Nature，仅用一张自然景观图片

　　选自 googleblog

　　机器之心编译

　　机器之心编辑部

　　来自谷歌的研究团队提出了一种 3D 视觉体验生成新方法 Infinite Nature，仅用一张自然景观图片就能生成该场景的高质量 3D 「航拍」视频。

　　今天，我们带你看一组「航拍」的自然景观：

　　雄伟的山脉：

　　项目主页：https://infinite-nature-zero.github.io/

　　谷歌将主要研究问题称为「永久型视图生成（perpetual view generation）」，即给定场景的单个输入视图，按照给定的相机路径，合成照片级真实的输出视图集。这一任务非常具有挑战性，因为系统必须为输入图像上的大型地标（例如山脉）的另一侧生成新内容，并以高逼真度和高分辨率渲染新内容。

　　下图是使用 InfiniteNature-Zero 生成的飞行效果示例：仅输入单个自然场景图像，模型运行时就能生成「飞入」该场景的新内容，体验非常真实。

　　该研究使用使用 ACID 数据集来训练这种渲染 - 优化 - 重复的合成方法。具体来说，该研究从数据集中采样视频，再从视频中采样一帧，然后使用上述方法渲染几个新的视图，沿着与地面实况视频相同的摄像机轨迹移动到场景中，并将这些渲染帧与相应的地面实况视频帧进行比较，以得出训练信号。其中还包括一个对抗性设置，它试图将合成帧与真实图像区分开来，旨在让生成的图像看起来更真实。Infinite Nature 方法可以合成任何相机轨迹对应的视图。

　　具体而言，整个研究中最核心的问题是：如何从静态图像生成场景视频？

　　为了解决这个问题，该研究提出一个关键的思路：如果我们拍摄一张图像并渲染一个循环的相机路径，即最后一张图像与第一张图像来自相同的视点，那么沿着这条路径最后合成的图像应该与输入图像相同。这种循环一致性提供了一个训练约束，帮助模型在视图生成的每个步骤中学习填充缺失的区域并提高图像分辨率。

　　然而，使用相机周期进行训练不足以生成长而稳定的视图序列，因此该研究在原始工作中包含了一种对抗策略，考虑长的、非循环的相机路径，如下图所示。

　　如果从起始帧开始渲染 T 帧，该研究会优化上述「渲染 - 优化 - 重复」模型，使得判别器网络无法分辨哪个是起始帧，哪个是最终合成帧。最后，该研究还添加了一个经过训练的组件，以生成高质量、高真实感的合成图像。

　　与之前的视频合成方法相比，Infinite Nature 方法的生成结果在内容的质量和多样性方面显著提高。此外，这种方法还允许用户交互控制摄像机，并生成更长的相机路径。

　　原文链接：

　　https://ai.googleblog.com/2022/11/infinite-nature-generating-3d.html

　　2022 NeurIPS China Meetup

　　2022 NeurIPS Meetup China 将设置 Keynote、圆桌论坛、论文分享、 Poster 展示、企业招聘等环节，邀请顶级专家、论文作者与现场参会观众共同交流。

　　举办时间：2022 年 11 月 26 日 9:00-18:00

　　举办地点：北京丽都皇冠假日酒店