論文ノート NeRF: ビュー合成のためのニューラル放射フィールドとしてのシーンの表現

NeRF はニューラル ネットワークを使用してシーンを表現します。与えられたシーンで、シーンのいくつかの視点から画像を入力すると、NeRF はシーンの新しい視点から画像を合成できます。

神経放射線分野

Neural Radiance Field (NeRF) は、5D ベクトル値関数を使用してシーンを表します。
入力は連続 5D 座標 (位置$バツ=(x,よ、z)$と視野角方向$d=(私、\varphi )$ )、出力は発光色$c=(r,g、b)$と体積密度$\sigma$。
具体的には、完全に接続されたネットワークを使用してこのシナリオを近似します。つまり、$F_{}:(x,d)\to (c、\sigma )$。
著者らは、かさ密度を場所だけに依存させることを推奨しています。したがって、ネットワーク構造は、最初に位置$x$、出力$\sigma$と固有ベクトル。次に、特徴ベクトルと視野角方向が結合され、最終的に$c$色。
シナリオごとに 1 つの NeRF をトレーニングする必要があることに注意してください。

位置エンコーディング

高周波関数を使用して入力をネットワークに渡す前に高次元空間にマッピングすると、高周波変動を含むデータによりよく適合させることができます。したがって、Transformer と同様に、著者は$\times 、d$は三角関数を使用して高次元空間にマッピングされ、ネットワークに入力されます:

$p$は各座標の値です ($\mathbf{x}$中的$\times 、よ、z$。

放射フィールドを使用した立体レンダリング

放射線照射野を一致させるために、作成者はボリューム レンダリングを使用して画像をレンダリングします。
立体視レンダリングについては、https://zhuanlan.zhihu.com/p/595117334
を参照してください。体積密度$\sigma \left(x\right)$は、位置x \mathbf xの光として解釈できます。$x$における無限小粒子で終わる微分確率
ステレオスコピック レンダリングでは、カメラ レイ$r\left(t\right)=ああ+td$の範囲は$[t_{}、t_{}]$希望の色$C\left(r\right)$は次のように計算します。
$$\begin{gathered} C\left(r\right)={\int }_{t_{}}^{t_{}}T\left(t\right)\sigma \left(r\right(t))c\left(r\right(t)、d)dt \\ ここでT\left(t\right)\_=\exp (-{\int }_{t_{}}^{}\sigma (r(s))ds) \end{gathered}$$連続神経放射場からのビューをレンダリングするには、目的の仮想カメラのカメラ光線上のすべてのピクセルをトレースして、積分$C\left(r\right)$。

上の式の積分は実際には数値的に計算され、サンプリングと合計が必要になります。ただし、サンプリングが特定の点で固定されている場合、表現の解像度は制限されます。この問題を解決するために、著者は層化サンプリング法を使用することを提案します。まず、$[t_{}、t_{}]$これを同じサイズの N 個のバケットに均等に分割し、各バケットでサンプルをランダムにサンプリングします。
$$t_{}〜U[t_{}+\frac{私-}{N}(t_{}-t_{}）、t_{}+\frac{}{N}(t_{}-t_{})]$$サンプリングされたサンプルは依然として離散的ですが、最適化プロセスは周期的であり、複数のサンプリングが必要です。各サンプリングは異なる位置にサンプリングできるため、連続位置での最適化と同等です。サンプリングされたサンプルを使用して$C\left(r\right)$の方法は次のとおりです。
$$\begin{gathered} \hat{C}\left(r\right)=\sum _{私}{T}_{}(1-\exp (-p_{}{d}_{}))c_{} \\ ここでT\_{}_{}=\exp (-\sum _{j=1}^{i-}{p}_{}{d}_{}）\text{\hspace{1em}( 1 )} \end{gathered}$$その中$d_{}=t_{私+}-t_{}$。さらに、$C\left(r\right)$の方法は微分可能であるため、パラメーターを簡単に最適化できます。

階層的なステレオサンプリング

NeRF 値が各カメラ レイに沿った N クエリ ポイントで密に計算される場合、レンダリングされたイメージに寄与しない空き領域とオクルージョン エリアがオーバーサンプリングされるため、このようなレンダリング戦略は非効率的です。
この問題を解決するために、著者は 2 つのネットワーク、1 つは粗粒度 (粗い) で、もう 1 つは粒度の細かい (細かい) ネットワークをトレーニングすることを提案しました。まず、粗粒度ネットワークが階層的にサンプリングされます$N_{}$点を計算し、${\hat{C}}_{}(\mathbf{r})$。
标准化${\hat{w}}_{}=\frac{w_{}}{{\sum }_{}{w}_{}}$、分布の確率密度関数を取得できます。この分布に従って、逆変換サンプリングを使用して$N_{}$ポイント。この$N_{}$ポイントは、レンダリングに対する重要性に基づいて取得されます。
次に、きめの細かいネットワークを使用して、この$N_{}+N_{}$ポイントの値、式 (1) を使用して最終的な光の色${\hat{C}}_{}\left(r\right)$。
この階層的方法では、表示部分内のより多くのポイントをサンプリングできます。

電車

各シナリオには個別の NeRF トレーニングが必要です。入力には、シーンの RGB イメージのセットに加えて、対応するカメラ位置、カメラの内部パラメータ、およびシーン境界 (COLMAP などのモーションからの構造ライブラリを使用して推定できます) も含まれます。
トレーニングされた損失関数は、レンダリングされたピクセルと実際のピクセルの間の二乗誤差です。

ここで、$R\; は$光線のバッチ コレクションです。トレーニングの各ループでは、カメラ レイのバッチがピクセルからランダムにサンプリングされます。
最終的なレンダリング イメージは細粒ネットワークによって生成されますが、粗粒ネットワークはサンプリング ポイントの位置を提供するため、粗粒ネットワークもトレーニングする必要があります。