本文约2500字，建议阅读5分钟
矩阵世界是AI精心设计的模拟世界！
【ガイド】マトリックスワールドはAIが緻密に設計したシミュレーションワールド！プリンストンはインフィニジェンの鍵を使ってマトリックスのゲートを開ける AIが生成する自然は現実世界よりリアル！
『マトリックス』の中で、ネオは自分の住んでいる世界が現実ではなく、注意深く設計されたシミュレートされた現実であることに気づきました。
そしてあなたは、私たちが住んでいる世界がシミュレートされたマトリックスの世界であるということを少しでも考えたことはありますか。
そして今、マトリックスが正式にオープンしました。
人類が永く生きてきたこの地球や自然界のすべてが幻想の世界であることを瞑想して感じてみませんか。
北極の氷河から太陽が昇る。水中世界の奇妙な魚群と色とりどりのサンゴ礁。
山々には雪が降り、広大な空には鷲が舞い上がっています。暑い砂漠では、危険なヘビが自由に飛び回っています。
川のそばの小さな木が激しい火に火をつけ、煙が立ち込めました。
透き通った海と小川、浜辺ではのんびりと日向ぼっこをするウミガメ、空にはたくさんのトンボが戯れています。
洞窟内の光と影の変化。
雨粒が落ち、楓の葉が風に舞い散る中、時間は唐突に終わりを告げた。
目に見えるものはすべて人工知能によってデザインされています。彼らのシミュレーションは非常に現実的であるため、誰もが現実そのものと間違えます。
このマトリックスへの扉を開いたチームはプリンストン大学から来ており、研究結果が発表されるやいなや、インターネット上で大騒ぎを引き起こしました。
ネチズンは、私たちはマトリックスの中で生きていると表現しました。
論文の中で研究者らは、自然界のリアルな3Dシーンプログラムジェネレーター「Infinigen」を紹介した。
Infinigen は、シェイプからテクスチャに至るまで完全に手続き型であり、ランダムな数学的ルールを使用してゼロから生成されます。
さらには、自然界の植物、動物、地形、さらには火、雲、雨、雪などの自然現象まで、無限に変化します。
最新の論文がCVPR 2023に採択されました。
論文アドレス: https://arxiv.org/pdf/2306.09310.pdf
Infinigen は、同じくオープンソースである無料のオープンソース グラフィックス ツール Blender 上に構築されています。
1080p 画像のペアが 3.5 時間で生成できることは注目に値します。
無制限のCVデータジェネレーター
プリンストン大学によって提案された Infinigen は、さまざまな特定のタスクに対して現実的なシナリオを生成するために簡単にカスタマイズできます。
以下のように自然界の多様性をシミュレーションします。
その主な役割は、幅広いコンピューター ビジョン タスクのための無制限のトレーニング データのジェネレーターとして使用できることです。
その中には、オブジェクト検出、セマンティック セグメンテーション、姿勢推定、3D 再構成、ビュー合成、ビデオ生成が含まれます。
さらに、物理的なロボットだけでなく、仮想的に具現化されたエージェントをトレーニングするためのシミュレート環境を構築するために使用することもできます。
もちろん、3D プリント、ゲーム開発、仮想現実、映画制作、および一般的なコンテンツ制作はすべて利用可能です。
次に、Infinigen システムがどのように設計されたかを見てみましょう。
Blender のプレビュー。
研究者らは主に、さまざまなプリミティブやユーティリティを提供するオープンソース 3D モデリング ソフトウェアである Blender を使用して手順ルールを開発しました。
Blender は、シーンを配置されたオブジェクトの階層として表現します。
ユーザーは、オブジェクトの変換、プリミティブの追加、メッシュの編集によってこの表現を変更します。
Blender は、最も一般的な 3D ファイル形式のインポート/エクスポートを提供します。
最後に、Blender のすべての作業は、Python API を通じて、またはオープン ソース コードをチェックアウトすることによって自動的に実行できます。
ノードトランスレータ。
Infinigen の一環として、研究者らは研究者向けの手続き型モデリングを高速化するための新しいツール セットを開発しました。
注目すべき例は、ここに示すように、ノード グラフを Python コードに自動的に変換する研究者の Node Converter です。
結果として得られるコードはより一般的であり、研究者は入力パラメータだけでなくグラフ構造をランダム化することができます。
このツールを使用すると、ノード グラフの表現力が向上し、Python または C++ で直接開発された他のプログラム ルールと簡単に統合できます。
また、プログラマ以外でもノード グラフを作成して Python コードを Infinigen に提供できるようになります。
ビルダーサブシステム。Infinigen は、資産のサブクラス (山や魚など) を生成する専用の確率的プログラムであるジェネレーターで構成されています。
各ジェネレーターには、ユーザーが制御可能な外部自由度を反映する一連の高レベルのパラメーター (丘の全体の高さなど) があります。
デフォルトでは、研究者は、ユーザーの入力なしに、自然を反映するように調整された分布からこれらのパラメーターをランダムにサンプリングします。
ただし、ユーザーは研究者の Python API を使用してパラメータをオーバーライドし、データ生成をきめ細かく制御することもできます。
下の画像は、ランダムな地形のみのシーンです。研究者らは、さまざまな種類の自然シーンに対して 13 枚の画像を選択しました。
それは、山、川の増水、雪山、海岸の日の出、水中、北極の氷山、砂漠、洞窟、渓谷、浮島です。
下の写真は、煙、滝、火山の噴火など、シミュレートされた炎のランダムに生成された写真です。
葉、花、キノコ、松ぼっくり。
木、サボテン、低木。
海上生活。
さまざまな種類の表面。
下の図は生き物の生成を示しています。
研究者らは、さまざまなゲノム (a)、体の部位 (b)、体の部位の集合体 (c)、髪の毛 (d)、体の形状 (e) を自動的に生成しました。
画像の右側には、研究者らはランダムに生成された捕食者、草食動物、鳥、甲虫、魚を表示しました。
以下の図では、研究者はランダムなシーン レイアウトを手順に従って作成しました (a)。
研究者は、必要なグラフィック コンテンツをすべて生成し (b、各メッシュ面の色を表示するため)、プロシージャル マテリアルとディスプレイスメントを適用します (c)。
最後に、実際の画像がレンダリングされます (d)。
下の画像は、動的解像度スケーリングを示しています。
研究者らは、カメラの距離は異なるが内容は同じ 3 つのクローズアップ グリッド ビジュアライゼーションを示しました。
メッシュ解像度が異なるにもかかわらず、最終画像には変化が見られません。
実験結果
Infinigen を評価するために、研究者らは修正されたステレオ マッチングのためのグラウンド トゥルースを備えた 30,000 個の画像ペアを作成しました。
研究者らはこれらの画像に対して RAFTStereo のトレーニングを開始し、ミドルベリー検証セットとテスト セットで結果を比較しました。
研究コードは本日リリースされたばかりで、すでに 99 個の星を獲得しています。
「西洋世界」のデジャブ
Nvidia の科学者 Jim Fan 氏は、現実に適切なトレーニング データがない場合、シミュレーションが次の「宝の山」になると述べています。
ここで、Infinigen はオープンソースで、手続き的に生成された 3D ビジョン用の現実的なデータセットです。その品質は素晴らしいです！同じ世界は二つとありません。
花びらのひだも含め、あらゆる細部がランダム化され、カスタマイズ可能です。
自然のさまざまなオブジェクトやシーン: 植物、動物、地形、火、雲、雨、雪。
グラウンド トゥルース値の自動アノテーション: オプティカル フロー、3D シーン フロー、深度、表面法線ベクトル、パノラマ セグメンテーション、オクルージョン
境界。
Blenderで書かれています。
一部のネチズンは、これで本当に目が開かれたと言いました。Blender で 3D 世界を手続き的に生成します。AI を使用せずに想像できるあらゆる世界を創造します。
このようなツールを組み合わせて世界を作成し、Daz3D などのツールを組み合わせてキャラクターを作成し、Blockade Labs を使用してスカイボックスを作成し、Convai を使用して NPC を作成します。
また、Infinigen が AI コンピュータービジョン研究において役割を果たす可能性も示唆されています。
彼は、将来的には人工知能がすべてを処理するようになるだろうと信じています。
たとえば、霧の森の中に滝のある村を作りたいとします。
AI に森の詳細な説明を書いて 3D 世界ジェネレーターに送信するように指示します。
ワールド生成後、村にキャラクターを追加することができます。これらの人々は人工知能によって制御され、相互作用、会話、記憶を持つことになります。
一種のウエストワールドラッシュ。
さらに、一部のネチズンは、手続き型生成は 20 年前から存在していると言いました (私は 15 年前からやっています)。「No Man's SKY」は 5 年前のテクノロジーの好例です。
Infinigen が優れている点は、ラベル付きデータを生成することです。このデータは AI のトレーニングに使用できます。それはクレイジーです。
他の人は、そう遠くない将来、ゲームがおかしくなるだろう…「インディーズ」ゲーム開発者がいくつかのクレイジーなハイエンドコンテンツを出せるようになるだろうと空想している。
Infinigen の生成は非常にリアルなので、Unreal Engine によって生成されているのではないかと考える人もいます。
著者について
アレクサンダー・レイストリック
Alexander Raistrick は、Jia Deng が指導するプリンストン大学コンピューター サイエンス学部の博士課程 2 年生です。
ラハヴ・リプソン
ラハブ・リプソンは、プリンストン大学の博士課程 3 年生です。
彼の研究は、3D ビジョンのためのディープ ネットワークの構築に焦点を当てており、エピポーラ幾何学に関する強力な仮定を利用して一般化とテストの精度を向上させています。
ゼユ・マ
Zeyu Ma は、プリンストン大学のビジョンと学習研究室の 3 年生の博士課程候補者です。彼は 2020 年に清華大学で電子工学の学士号を取得しました。現在の研究は、マルチビュー 3D 再構成と手続き型データ生成に焦点を当てています。
最後に動画全体を紹介します。
参考文献:
https://infinigen.org/
https://twitter.com/DrJimFan/status/1670098819026128897
編集者: ユウ・テンカイ
校正：リン・イーリン
