三维重建

随着元宇宙以及3D应用的发展，3D相关技术得到越来越多的重视。传统的3D技术链路长、成本高、迭代慢，3D资产创作主要依赖于人工，严重制约了3D应用的发展。

一、3D的价值

3D的核心价值有2个，一是编辑自由，二是虚拟空间。

• 编辑自由指的是3D内容后期制作非常自由，可以单独调整物体、动作、布景、光照、相机，制作理想内容。3D的编辑自由，目前主要体现在在工业设计、视频创作等领域。工业设计中，3D模型编辑，所见即所得，直接拟合最终成品效果，降低了设计和生产的关联成本。视频创作中，先制作3D模型，然后再渲染得到2D视频，3D模型可以支持创作过程的迭代，大大降低创作成本。

• 虚拟空间，指的是我们可以用已有的3D元素，构建虚拟空间，带给人真实世界的相似体验。3D的虚拟空间，主要体现在游戏领域、数字孪生等领域。游戏领域构建虚拟场景，支持自由变换视角，体验空间中自由移动的快感。数字孪生，构建虚拟空间，体验整体空间感觉，辅助决策。

二、新视角合成和神经隐式表示

视角合成方法通常使用一个中间3D场景表征作为中介来生成高质量的虚拟视角。根据表示形式，3D场景表征可以分为“显式”和“隐式”表示。

显式表示包括Mesh，Point Cloud，Voxel，Volume等。显式表示的优点是能够对场景进行显式建模，从而合成照片级的虚拟视角。缺点是这种离散表示因为不够精细化会造成重叠等伪影，而且最重要的，它们对内存的消耗限制了高分辨率场景的应用。

隐式表示通常用一个函数来描述场景几何。隐式表示使用一个MLP模拟该函数，输入3D空间坐标，输出对应的几何信息。隐式表示的好处是它一种连续的表示，能够适用于大分辨率场景，而且通常不需要3D信号进行监督。在NeRF之前，它的缺点在于无法生成照片级的虚拟视角，如occupancy field、signed distance function（SDF）。

神经隐式表示（neural implicit representation）从2019年开始兴起。以图像为例，其最常见的表示方式为二维空间上的离散像素点。但是，在真实世界中，我们看到的世界可以认为是连续的。于是，可以考虑使用一个连续函数来表示图像的真实状态，然而我们无从得知这个连续函数的准确形式，因此有人提出用神经网络来逼近这个连续函数，这种表示方法被称为“神经隐式表示”，是一种对各种信号进行参数化的方法。

无论是显式表示还是隐式表示，都是对3D场景进行表征。这种表征并不是凭空臆测或者天马行空的，而是根据现实中数据格式进行发展。例如现实中的3D数据主要有面数据、点数据、体数据，所以对应催生了一些Mesh、Point Cloud、Volume等中间表示。隐式表示则是借鉴了图形学中的一些表示形式，例如signed distance function。