正確な 3D シーンとオブジェクトの再構成は、ロボット工学、写真測量、AR/VR などのさまざまなアプリケーションにとって重要です。NeRF は、新しいビューの合成には成功していますが、基礎となるジオメトリを正確に表現するには至っていません。
推奨事項: NSDT エディターを使用して、プログラム可能な 3D シーンを迅速に構築する
NVIDIA の Neuralangelo などの最近の進歩を見てきましたが、NeRFMeshing も、NeRF を搭載したネットワークから正確な 3D メッシュを抽出することでこの課題に対処するために提案されています。NeRFMeshing によって生成されたメッシュは物理的に正確で、さまざまなデバイス上でリアルタイムにレンダリングできます。
1. NeRFMeshingの概要
NeRF は画質、堅牢性、レンダリング速度の点で優れた結果を示していますが、放射線場から正確な 3D メッシュを取得することは依然として課題です。既存の表現は、正確なジオメトリを明示的に強制するのではなく、主にビュー合成用に最適化されています。これにより、厚さ 0 のレベル セット サーフェスではなく、ボリュームの密な領域を使用してサーフェスが近似されます。さらに、これまでのアプローチのほとんどには、リアルタイム レンダリング機能や標準 3D グラフィックス パイプラインとの互換性がありません。
NeRFMeshing は、トレーニングされた NeRF ベースのネットワークから幾何学的に正確なメッシュを効率的に抽出するための新しいパイプラインを提案します。このアプローチにより追加される時間のオーバーヘッドはわずかで、汎用ハードウェアでリアルタイムにレンダリングできる正確なジオメトリとニューラル カラーを備えたメッシュが生成されます。
NeRFMeshing の主要なコンポーネントは、後処理 NeRF パイプラインをトレーニングして基礎となる表面と外観を定義する符号付き表面近似ネットワーク (SSAN: Signed Surface Appriximation Network) です。SSAN は、トランケート符号付き距離フィールド (TSDF: トランケート符号付き距離フィールド) とフィーチャ外観フィールドを推定し、シーンの 3D 三角形メッシュの抽出を可能にします。次に、このメッシュはアピアランス ネットワークを使用してレンダリングされ、ビュー依存の色が生成されます。
2. NeRFMeshing の利点
NeRFMeshing には、他の方法に比べていくつかの利点があります。任意の NeRF アーキテクチャと組み合わせて、この分野の新しい進歩を簡単に組み込むことができます。この方法は、境界のないシーンと複雑な非ランバート曲面を処理できます。また、NeRFMeshing は、ビュー依存の効果や反射を含む神経放射場の高い忠実度を維持するため、リアルタイムの新規ビュー合成に適しています。
高品質のグリッドを抽出するために、符号付き距離関数 (SDF: Signed Distance Field) を学習するなどの代替手段が検討されていますが、通常は追加の入力パターンまたは固定グリッド テンプレートが必要です。一方、NeRFMeshing は NeRF の適応機能を利用して、NeRF アーキテクチャを変更することなく 3D シーンを堅牢に表現します。微分可能メッシュ ラスタライザーが直面する最適化の問題を克服し、速度と幾何学的精度の両方を実現します。
NeRFMeshing は、NeRF のニューラル機能を使用して正確な 3D メッシュを抽出するためのエンドツーエンドのパイプラインを提供します。このプロセスには、画像から NeRF ネットワークをトレーニングし、トレーニングされたネットワークを SSAN モデルに改良することが含まれます。モデルは TSDF とアピアランス フィールドを推定して、3D メッシュを抽出できます。結果として得られるメッシュは、グラフィックスおよびシミュレーション パイプラインにシームレスに統合でき、ビューに依存するリアルタイム レンダリングを可能にします。
NeRFMeshing は、NeRF 駆動ネットワークから正確な 3D メッシュを取得する新しい方法を導入し、正確な幾何学的表現の課題に対処します。結果として得られるメッシュはリアルタイムでレンダリングでき、高い忠実度を提供するため、さまざまなアプリケーションに適しています。NeRFMeshing の柔軟性により、さまざまな NeRF アーキテクチャや将来の進歩との統合が容易になります。このアプローチにより、現実的な 3D シーンとオブジェクトの再構築の可能性が開かれ、物理ベースのシミュレーション、リアルタイムの視覚化、およびインタラクションが可能になります。
元のリンク: NeRFMeshing グリッド抽出—BimAnt