本科生新开源算法打败 NeRF，不用神经网络照片也能动起来，提速 100 倍

图片地址：https://img.ithome.com/newsuploadfiles/2021/12/e18dc835-3eaf-4955-8038-510ba06fefaa.gif

万万没想到，把照片变 3D 这件事，离了神经网络也是这般丝滑。而在此之前，新视角合成这方面的“大牛”，是近两年大火的 NeRF （神经辐射场）。它是一个简单的全连接神经网络，使用 2D 图像的信息作为训练数据，还原拥有体积的 3D 场景。但最近，来自伯克利大学的研究人员提出了一个叫做 Plenoxels 的方法。不需要神经网络，仅仅通过梯度下降和正则化便实现了同样的效果，而且速度还快了 100 倍！那么他们是如何做到这点的呢？由 NeRF 到 Plenoxels 的进化为了帮助大家理解 Plenoxels，我们先来简单介绍一下 NeRF 模型。要准备 NeRF 的数据，我们首先需要一部相机。拍了很多张各个角度的照片后，沿相机射线将每一张 2D 图片的坐标与视图方向构成一个 5D 向量 （x, y, z, θ, φ）作为 mlp （多层全连接神经网络）的输入。我们从图 (b) 上可以看到，射线上的点有