【三维重建】【深度学习】NeRF_Pytorch代码--预备基础知识

【三维重建】【深度学习】NeRF_Pytorch代码–预备基础知识

给定一个场景的多视角的图像，神经辐射场（NeRF）通过图像重建误差优化一个神经场景表征，优化后可以实现逼真的新视角合成效果。NeRF最先是应用在新视点合成方向，由于其超强的隐式表达三维信息的能力后续在三维重建方向迅速发展起来。

---

---

前言

在详细解析NeRF代码之前，首要任务是成功运行NeRF代码【win10下参考教程】，后续学习才有意义。本博客讲解Im数据加载模块的代码，不涉及其他功能模块代码。

渲染和逆渲染

渲染和逆渲染是计算机图形学中两个重要的概念，分别涉及将三维场景转换成二维图像和从二维图像中还原出三维场景的过程。

• 渲染(Rendering))是指将三维场景中的几何形状、纹理、光照等信息转换成二维图像的过程。
• 逆渲染(Inverse rendering)是指从二维图像中还原出三维场景中的几何形状、纹理、光照等信息的过程。

---

视角合成方法

通常使用一个中间3D场景表征作为中介来生成高质量的虚拟视角，即首先需要对中间3D场景进行表征，然后再对这个中间3D场景进行渲染，生成照片级的视角。
如何对这个中间3D场景进行表征，分为了“显示3D表征“和”隐式3D表征“

• 显示3D表征：确地定义物体的几何形状，包括网格(Mesh)，点云(PointCloud)，体素(Voxel)等，它能够对场景进行显式建模，但是因为其是离散表示的，导致了不够精细化会造成重叠等伪影，更重要的是它存储的三维场景表达信息数据量极大，对内存的消耗限制了高分辨率场景的应用。
• 隐式3D表征：通过一些数学方程来隐式地定义物体的几何形状，通常用一个函数来描述场景几何，可以理解为将复杂的三维场景表达信息存储在函数的参数中，以更自然地描述一些具有复杂形状的物体。因为往往是学习一种3D场景的描述函数，因此在表达大分辨率场景的时候它的参数量相对于“显示表示”是较少的，并且”隐式表示“函数是种连续化的表达，对于场景的表达会更为精细。

显式是离散的表达，不能精细化，导致重叠等伪影，耗费内存，限制了在高分辨率场景的应用。
隐式是连续的表达，能够适用于大分辨率的场景，而且不需要3D信号进行监督。

---

四大坐标系与内外参

• 图像坐标系$\left(x,y\right)$： 以相机光轴与成像平面的交点(principal point)为坐标原点，描述物体通过投影投射在成像平面中的位置。
• 像素坐标系$\left(u,v\right)$： 以成像平面左上顶点为坐标原点，描述像素点(pixel)在数字图像中的坐标位置而引入。
• 相机坐标系$\left(X_{\mathrm{c}},Y_{\mathrm{c}},Z_{\mathrm{c}}\right)$： 以相机的光心为坐标系原点， $X_c$,$Y_c$轴平行于图像坐标系的$x$,$y$轴，相机的光轴为$Z_c$轴，坐标系满足右手法则。相机的光心可理解为相机透镜的几何中心。
• 世界坐标系$\left(X_{\mathrm{w}},Y_{\mathrm{w}},Z_{\mathrm{w}}\right)$： 用于表示空间物体的绝对坐标，世界坐标系可通过旋转和平移得到相机坐标系。

图像坐标系与像素坐标系

图像坐标系与像素坐标系的转换推导：
$u=\frac{x}{dx}+u_0$
$v=\frac{y}{dy}+v_0$

$\left(u,v\right)$表示图像中像素的行数和列数，$\left(u_0,v_0\right)$表示图像坐标系下的原点在像素坐标系中的坐标，$dx$和$dy$表示单个像素分别在$x$轴和$y$轴上的物理尺寸，$\frac{x}{dx}$与$\frac{y}{dy}$的单位为像素。

矩阵表示形式：
$$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{cc}\frac{1}{dx}& 0\\ 0& \frac{1}{dy}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{u}_0\\ v_0\end{array}\right]$$
齐次坐标表示形式：
$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

相机坐标系与像素坐标系(相机内参)

相机坐标系到图像坐标系是透视关系

根据三角形相似原理可得：

$$\frac{f}{Z{}_c}=\frac{x}{X{}_c}=\frac{y}{Y{}_c}$$
变换形式：
$$\{\begin{array}{c}Z{}_c\cdot x=f\cdot X{}_c\\ Z{}_c\cdot y=f\cdot Y{}_c\end{array}$$
齐次坐标表示形式：
$$Z{}_c\cdot \left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{c}\begin{array}{ccc}f& 0& 0\end{array}\\ \begin{array}{ccc}0& f& 0\end{array}\\ \begin{array}{ccc}0& 0& 1\end{array}\end{array}\right]\left[\begin{array}{c}X{}_c\\ Y{}_c\\ Z{}_c\end{array}\right]$$
带入像素坐标系与图像坐标系之间的转换公式:
$$Z{}_c\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{c}\begin{array}{ccc}\frac{1}{dx}& 0& u_0\end{array}\\ \begin{array}{ccc}0& \frac{1}{dy}& v_0\end{array}\\ \begin{array}{ccc}0& 0& 1\end{array}\end{array}\right]\left[\begin{array}{c}\begin{array}{ccc}f& 0& 0\end{array}\\ \begin{array}{ccc}0& f& 0\end{array}\\ \begin{array}{ccc}0& 0& 1\end{array}\end{array}\right]\left[\begin{array}{c}X{}_c\\ Y{}_c\\ Z{}_c\end{array}\right]$$
整理可得：
$$Z{}_c\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{c}\begin{array}{ccc}{f}_x& 0& u_0\end{array}\\ \begin{array}{ccc}0& f_y& v_0\end{array}\\ \begin{array}{ccc}0& 0& 1\end{array}\end{array}\right]\left[\begin{array}{c}X{}_c\\ Y{}_c\\ Z{}_c\end{array}\right]$$

$f_x$和$f_y$分别表示相机在$x$轴和$y$轴方向上的焦距

相机内参(Camera Intrinsics)$K$为：
$$K=\left[\begin{array}{c}\begin{array}{ccc}{f}_x& 0& u_0\end{array}\\ \begin{array}{ccc}0& f_y& v_0\end{array}\\ \begin{array}{ccc}0& 0& 1\end{array}\end{array}\right]$$

世界坐标系与相机坐标系(相机外参)

绕z轴的旋转

当一个点$P_W\left(x_w,y_w,c_w\right)$绕$z$轴旋转$\theta$角得到点$P_C\left(x_c,y_c,c_c\right)$，$z$坐标保持不变，$x$和$y$组成的$xoy$平面($o$是坐标原点)上进行的其实可以看作一个二维旋转。

$$\{\begin{array}{c}{X}_c=X_w\cos \theta +Y_w\sin \theta \\ Y_c=-X_w\sin \theta +Y_w\cos \theta \\ Z_c=Z_w\end{array}$$
矩阵形式如下:
$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=\left[\begin{array}{ccc}\cos \theta & \sin \theta & 0\\ -\sin \theta & \cos \theta & 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]=R_z\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]$$

绕x轴的旋转

当一个点$P_W\left(x_w,y_w,c_w\right)$绕$x$轴旋转$\alpha$角得到点$P_C\left(x_c,y_c,c_c\right)$，$x$坐标保持不变，$y$和$z$组成的$yoz$平面($o$是坐标原点)上进行的其实可以看作一个二维旋转。

$y$轴类似于二维坐标系中的$x$轴，$z$轴类似于$y$轴

$$\{\begin{array}{c}{X}_c=X_w\\ Y_c=Y_w\cos \alpha +Z_w\sin \alpha \\ Z_c=-Y_w\sin \alpha +Z_w\cos \alpha \end{array}$$
矩阵形式如下:
$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \alpha & \sin \alpha \\ 0& -\sin \alpha & \cos \alpha \end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]=R_x\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]$$

绕y轴的旋转

当一个点$P_W\left(x_w,y_w,c_w\right)$绕$y$轴旋转$\beta$角得到点$P_C\left(x_c,y_c,c_c\right)$，$y$坐标保持不变，$z$和$x$组成的$zox$平面($o$是坐标原点)上进行的其实可以看作一个二维旋转。

$z$轴类似于二维坐标系中的$x$轴，$x$轴类似于$y$轴

$$\{\begin{array}{c}{X}_c=-Z_w\sin \beta +X_w\cos \beta \\ Y_c=Y_w\\ Z_c=Z_w\cos \beta +X_w\sin \beta \end{array}$$
矩阵形式如下:
$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=\left[\begin{array}{ccc}\cos \beta & 0& -\sin \beta \\ 0& 1& 0\\ \sin \beta & 0& \cos \beta \end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]=R_y\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]$$

小结

旋转矩阵$R=R_x{R}_y{R}_z$：
$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=R\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+t$$
齐次坐标系：
$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0_{1\times 3}& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$
相机内参(Camera Extrinsics)：
$$\left[\begin{array}{cc}R& t\\ 0_{1\times 3}& 1\end{array}\right]$$

---

总结

尽可能简单、详细的介绍关于NeRF_Pytorch的所需的预备基础知识(随时补充新的)，后续会根据自己学到的知识结合个人理解讲解NeRF的原理和代码。