查看过去的照片可以帮助人们重温一些最珍贵的时刻。去年12月，Google推出了Cinematic照片，这是Google相册中的一项新功能，旨在重现照片拍摄时的沉浸感，并通过推断图像中的3D表示来模拟相机的运动和视差。在本文中，Google将研究此过程背后的技术，并演示Cinematic照片如何将过去的2D照片转换为更具身临其境的3D动画。

　　深度估计

　　像许多最新的计算摄影功能（例如人像模式和增强现实（AR））一样，重庆3D动画公司电影照片也需要深度图来提供有关场景3D结构的信息。在智能手机上计算深度的典型技术依赖于多视角立体，这是一种几何方法，可通过同时捕获不同视点（已知相机之间的距离）的多张照片来解决场景中物体的深度。在Pixel手机中，视图来自两个摄像头或双像素传感器。

　　为了在没有以多视图立体声拍摄的现有照片上启用电影照片，Google训练了具有编码器-解码器体系结构的卷积神经网络，以从单个RGB图像中预测深度图。该模型仅使用一个视图就学会了使用单眼线索来估计深度，例如物体的相对大小，线性透视图，散焦模糊等。

　　由于单眼深度估计数据集通常是为AR，机器人和自动驾驶等领域设计的，因此它们倾向于强调街道场景或室内场景，而不是休闲摄影中更常见的特征，例如人，宠物和物体。不同的构图和框架。因此，Google创建了自己的数据集，用于训练使用自定义5相机装置捕获的照片以及在Pixel 4上捕获的另一个人像照片的单眼深度模型。这两个数据集都包含来自多视图立体的地面深度，即对于训练模型至关重要。

　　以这种方式混合多个数据集可使模型暴露于更多场景和相机硬件中，从而改善了重庆3D动画公司对野外照片的预测。但是，这也带来了新的挑战，因为来自不同数据集的真实深度可能会因未知的缩放因子和偏移而彼此不同。幸运的是，电影摄影效果仅需要场景中对象的相对深度，而无需绝对深度。因此，Google可以在训练过程中通过使用比例和位移不变损失来组合数据集，然后在推断时对模型的输出进行归一化。

　　电影照片效果对深度图在人的边界处的准确性特别敏感。深度图中的错误可能会导致最终渲染效果中出现伪影。为了减轻这种情况，Google应用了中值滤波来改善边缘，并使用在Open Images数据集上训练的DeepLab分割模型来推断照片中任何人的分割蒙版。遮罩用于拉远深度图的像素，这些像素被错误地预测为在背景中。

　　摄像机轨迹

　　在3D场景中为摄像机设置动画时，可以有许多自由度，并且Google的虚拟摄像机设置受专业摄像机装备启发来创建电影般的运动。这其中的一部分是确定虚拟相机旋转的最佳枢轴点，以便通过将眼睛吸引到对象来产生最佳结果。

　　3D场景重建的第一步是通过将RGB图像拉伸到深度图上来创建网格。这样，网格中的相邻点可能具有较大的深度差。尽管从“面对”视图中看不到这一点，但虚拟摄像机移动得越多，就越有可能看到跨越深度变化较大的多边形。在渲染的输出视频中，这看起来像是拉伸了输入纹理。对虚拟相机进行动画处理时，最大的挑战是要找到一条引入视差的轨迹，同时最大程度地减少这些“拉伸”伪像。

　　一旦重庆3D动画公司相机离开“面对”视图，具有较大深度差的网格部分将变得更加可见（红色可视化）。在这些区域中，照片似乎被拉伸了，Google称其为“拉伸伪影”。

　　由于用户照片的频谱范围很广，并且它们具有相应的3D重构，因此不可能在所有动画中共享一条轨迹。取而代之的是，Google定义了一个损失函数，该函数捕获了在最终动画中可以看到多少拉伸性，这使Google能够为每张唯一的照片优化相机参数。损失函数不计算被识别为伪像的像素总数，而是在连接的伪像像素数量更多的区域中触发更多，这反映了观看者倾向于更容易注意到这些连接区域中的伪像的趋势。

　　Google利用来自人体姿势网络的填充分割蒙版将图像分为三个不同的区域：头部，身体和背景。在将最终损失计算为归一化损失的加权总和之前，将损失函数在每个区域内进行归一化。理想情况下，生成的输出视频没有伪影，但是在实践中，这种情况很少见。区域的加权不同会偏重优化过程，重庆3D动画公司以选择更喜欢背景区域中的伪影而不是图像对象附近的那些伪影的轨迹。