6 月 5 日の Apple の「もう 1 つ」Apple Vision Pro のリリースは、間違いなく XR/AR/VR 開発の歴史における一日です。Apple Vision Pro の多くの機能は、業界の多くの人によって提案され、多くの製品に実装されていると言う人も多いでしょう。たとえば、数年前に Microsoft Hololens で目の動き + 完全なジェスチャ インタラクションが実現されました。無限の大画面は、現在多くの Bird Base AR メガネの主な応用シナリオでもあり、ディスプレイは Oculus Quest と同じソリューションです。では、Apple Vision Pro の何がそんなに特別なのでしょうか? それを二語で要約すると、「極端」です。
XR/AR/VRの違い
Apple Vision Pro は、VR (仮想現実)とAR (拡張現実)の機能を組み合わせた製品タイプである複合現実 (XR Mixed Reality)デバイスです。VR 製品は、仮想世界の没入感に焦点を当てています。 Oculous Quest、Pico...など。現在、より一般的なシーンは VR ゲームです。AR は現実と現実世界を組み合わせることに重点を置いています。HoloLens、Nreal、Li Weike Meta Lens はこのタイプのメガネに属します。
では、XRとはどのような製品タイプなのでしょうか？XR タイプの登場は、主に AR の現在の光学ソリューションの不足を補い、VR に基づいて現実とインタラクションする機能を拡張することです。以下の 2 つの比較写真から、Vision Pro の登場がわかります。のほうが近いです。AR メガネは一般にOST (Optical See-Through)デバイスと呼ばれ、現実世界をはっきりと見て仮想オブジェクトを投影するために、業界では通常、イメージングに反射または回折の原理を使用しますが、全体的な歩留まり、イメージング品質、および FOV VR デバイスほど優れているわけではありませんが、重量と携帯性の点では VR デバイスよりもはるかに優れています。サプライチェーンの噂によると、Appleも深センでAR光学ソリューションを長い間研究してきたが、適切なものが見つからず、最終的にXRタイプの製品に切り替えたという。
XR デバイスはVST (Video See-Through)デバイスとも呼ばれ、簡単に言うと、遠近法で外の世界を見る方法がないため、カメラを使用してユーザーが世界を認識できるようにし、VR ディスプレイ技術を使用して外の画像を表示します。これにより、表示効果が保証され、FOV が VR デバイスと同じ大きさになるだけでなく、AR のアプリケーション シナリオもカバーされます。ただしデメリットがないわけではなく、外部画像を送信して高精細に描画するには追加のカメラが数台必要となるため、通常のARよりもコストや消費電力が確実に高くなります。
Apple は Vision Pro の設計でも XR の特性を利用し、ノブを通じて現実と仮想の間の没入度を変更できる仮想-現実切り替えの概念を導入しました。
次に、Vision Pro が突破した業界の最も困難な問題を紹介することに焦点を当てます。
コントローラーを放棄する: 完全な目の動き + ジェスチャー制御
実際、目の動きとジェスチャー制御は、既存の主流の VR デバイスにデフォルトでこの 2 つのテクノロジーが搭載されていますが、どちらもシーンの制限が比較的大きく、その結果、最新のメタクエスト 3 でも依然として物理コントローラーの操作を放棄していません。
現在、眼球運動の一般的な技術的ボトルネックは、解像度が十分に高くなく、おおよその位置にしか配置できないことであるため、一般的に VR デバイス上の眼球追跡中心窩レンダリング (Eye Tracked Foveated Rendering ETFR)に使用されます。注視点のみ高精細な描画ですが、特にアイコンが近い場合など、非常に高い制御精度が要求されます目の動きは非常に微妙で、誤ってタッチしやすい、または力を入れなければなりませんこれまで眼球運動制御関連技術を使用したことがある方は、最初はとても疲れると感じるはずです。
しかし、これは Vision Pro の目の動きを直接利用してアイコンを選択するもので、実際に体験した友人によると非常に使いやすいとのことで、この経験だけでも業界が数年は追いつくのに十分です。
全体的なインタラクションは一般に、目の動きを使用してコントロール コンポーネントを選択し、その後、ジェスチャと連携して、クリック、ドラッグ、ストレッチなどのコントロール機能をトリガーします。ただし、センサーベースの位置決めジェスチャーには、センサーの FOV によって制限されるという大きな欠点もあります。FOV が小さすぎると、ジェスチャーの作業領域が反応しなくなったり、手が反応しなくなったりする可能性があります。痛すぎる。HoloLens などのジェスチャーをより適切に操作するには、目の前にある必要があります。
今回Appleはこの問題を解決するために単眼構造光を採用したのですが、導入部分から非常に低い位置に手を置いても使えることがわかり、非常に使いやすいとのことです。単眼構造光を使用して、FOV と角度によって生じるジェスチャの違いを解決する方法はまだ解明されていません。さらに、構造化された光は周囲光の影響を受けやすく、実際の実際の効果は実際の製品の経験に依存する可能性があります。
12 カメラ フュージョン: リアルタイムの仮想現実統合
バーチャルとリアルの統合に関して言えば、VR/AR/XR に不可欠な空間認識アルゴリズム SLAM (同時ローカライゼーションとマッピング) について言及する必要がありますが、携帯電話では次のような成熟した SDK がすでに多数利用可能です。 iOS ARKit、Android ARCore がありますが、ヘッド ディスプレイ デバイスには数が少なく、公開されていないものがほとんどです。その主な理由は、人間の目の反応速度に合わせるため（遅すぎるとめまいを起こしてフィットしない可能性があります）、アルゴリズムの速度と精度の要件が携帯電話のARよりもはるかに高いためです。
この問題を解決するために、Apple は Vision Pro に M2 と R1 という 2 つのプロセッサを搭載することを躊躇しませんでした。
12台のカメラのデータをリアルタイムに処理するために、Appleは自社開発のR1マルチメディアプロセッサを特別に使用しており、全体のデータ同期遅延はわずか16msであると言われていますが、処理速度の問題に加えて、別の主な理由があります。一般的なオペレーティング システムは非常に高速であるため、R1 を使用するのが一般的ですが、リアルタイム システムの場合、メイン プロセッサ M2 を処理に直接使用すると、たとえ計算能力が十分であっても、基盤となるセンサーをリアルタイムで同期することができません。 2 つのプロセッサのアーキテクチャは、将来的には業界標準のソリューションになるはずです。クアルコムの AR2 もデュアルプロセッサ アーキテクチャですが、クアルコムの最高レベルの SOC は 8 ウェイ ビデオのみを処理できます。Appleという一企業が全世界をひっくり返したと言っても過言ではありません。
空間オーディオシステム
携帯電話の二次元システムから三次元システムへの進化は、本質的に感覚における現実と現実の融合を本能的に追求するものである。空間を感知する能力は、感覚のニーズを解決します。究極を追求するアップルは立体オーディオシステムを手放しません。
Vision Pro は空間オーディオ システムを提案します。使用する前に、Vision Pro を使用して耳をスキャンして、各人の耳のおおよその音域を知る必要があります。その後、4 つの外部サウンドを通じて空間全体の異なる方向の音源をシミュレートできます。ドルビーサラウンドサウンドの映画館に行くようなものです。しかし、メガネの外部スピーカーには音漏れの問題が常にあることはよく知られており、Apple がこの問題をどこまで解決しているかはわかりません。
いくつかの考え
Vison Pro のリリースは、業界全体に大きな影響を与えるに違いありません。重要なのは、Vision Pro がどれほど革新的であるか、他の製品とどのように異なるかではなく、セールス ポイントの多くさえ、関連業界で長年使用されてきたものです。
しかし、最も重要なことはこれです。しかし!!! このような完璧で究極の体験を実現できるのは Vison Pro だけです。関連業界の者としては信じられない内容が多く、業界として考えたこともなかったわけではないが、能力がそれを許さない。1 点だけを考えても、それを実現できる企業は世界で 2 社しかないと言っても過言ではありません。