Shape・Eは画像やテキストから3Dモデルを生成する生成モデルです。
Shape・E は、陰関数のパラメーターを生成します。暗黙的関数とは、Nerf (Neural Radiance Fields) および STF (Signed Distance Functions and Texture Fields) を指します。3D 座標を密度や色などの場所固有の情報にマッピングできます。暗黙的な関数を通じて、3D オブジェクトをレンダリングしたり、3D オブジェクトのテクスチャ メッシュを取得したりできます。
明示的生成モデル Point·E (テキストから直接点群を生成する) と比較して、Shape·E はより速く収束し、同等以上のサンプル品質を実現します。
Shap・E のトレーニングは 2 つの段階に分かれています:
最初のステップはエンコーダー/デコーダーをトレーニングすることです。エンコーダーは 3D モデルを陰関数のパラメーターにマッピングします。陰関数のパラメーターはデコードされて 3D モデルを再構築します。 . ;
2 番目のステップは、条件付き拡散モデルをトレーニングして、エンコーダーによって出力される陰的関数のパラメーターを生成することです。条件は画像 (画像が 3D モデルを生成する) またはテキスト (テキストが 3D モデルを生成する) にすることができます。
テスト段階では、条件付き拡散モデルを使用して陰関数のパラメーターが生成され、デコーダーによってデコードされて 3D モデルが取得されます。