1 はじめに
火災後、ユアンバースはすぐに沈黙に陥りました。主な理由は、一部のハードウェアが要件を満たしておらず、現実と現実を組み合わせる効果的なキャリアが不足していたことです。ヘッドマウント ディスプレイのトラックは冷え、そしてユアンバースの熱意は冷めてしまいました。巨人は沈静化した。 Apple が 6 月にリリースした MR ヘッドマウント ディスプレイ製品は、Metaverse テクノロジーをさらに一歩進め、Apple が MR 市場に正式に参入したことを示しています。
Apple は、「Mac が私たちをパーソナル コンピューティングの時代に導き、iPhone が私たちをモバイル コンピューティングの時代に導いたように、Apple Vision Pro は私たちを空間コンピューティングの時代に導いてくれる」と信じています。時代 a>」。いわゆる空間コンピューティングは、当初は地理空間測位および計測技術を指しましたが、メタバースにおける「空間コンピューティング層」は、3D エンジン、VR/AR/MR 機器、地理情報マッピングなどの概念を拡張しました。なぜ空間コンピューティングが必要なのでしょうか?メタバースは仮想と現実の融合という特徴があり、仮想と現実の間には空間計算を経て完成する接続点が存在します。
現段階では、Apple Vision Pro が最新の強力なヘッド ディスプレイ製品として発売されています。その後 6 月 22 日、VisionOS システムのソフトウェア開発キット (SDK) がリリースされ、開発者が共同で作業できるようになりました。空間コンピューティングの時代」。 Apple の一連の行動は誰もが注目する価値があります。この記事では、Apple Vision Pro とその VisionOS SDK について説明し、そのソフトウェアとハードウェアのアーキテクチャ、主な機能を紹介します。 a>、 GIS との統合シナリオの簡単な概要。 アプリケーション シナリオおよび開発条件、
2.ビジョンプロ
Vision Pro は本質的に VR デバイスです。ユーザーは肉眼で外界を見ることができません。体全体の 10 個以上のレンズを通して外界をユーザーに伝えます。 、このビデオ透過伝送の計算は、ユーザー エクスペリエンスの基礎です。 Vision Pro の製品ポジショニングは、Hololens と同様の AR デバイスです。ただし、Hololens はレンズ ソリューションを使用するのに対し、Vision Pro は 透過的な送信スキーム。 VR ヘッドセットは通常、外界を見ることができませんが、MR ヘッドセットは現実世界を見ることができなければなりません。 Apple Vision Pro は、透明な伝送ソリューションを使用して、仮想現実と拡張現実を組み合わせます。
3.VisionOS SDK
3.1 VisionOS の概要
Apple Vision Pro には、最新の VisionOS オペレーティング システムが搭載されています。iPhone の iOS、iPad の iPadOS、Macbook の MacOS と同様に、VisionOS は Vision Pro に適しており、「」と呼ばれます。世界初の宇宙用オペレーティング システム」。従来のデスクトップ コンピューティングやモバイル コンピューティングとは異なり、空間コンピューティングは目の前の作業環境を一時停止し、ユーザーが自然光と影の変化を通じて比率と距離を理解できるようにし、デジタル コンテンツを現実世界に存在するかのように見せます。ユーザーは、周囲との接続を維持しながらアプリケーションを操作したり、作成された世界に完全に没入したりできます。
VisionOS は macOS、iOS、iPadOS 上に構築されており、iOS と空間フレームワーク、マルチアプリ 3D エンジン、オーディオ エンジン、専用レンダラー サブシステム、およびリアルタイム サブシステムが含まれています。アーキテクチャ レベルでは、VisionOS は、Apple Vision Pro でインタラクティブな視覚効果を処理するために新しく追加された「リアルタイム サブシステム」を含むコア モジュールを MacOS および iOS と共有します。 VisionOS には新しい App Store があり、Vision Pro では「何十万もの使い慣れた iPhone および iPad アプリ」も実行できるようになります。
3.2 コンテンツの表示形式
VisionOS SDK では、Apple はアプリケーション UI を 3 つの基本要素、つまり 2D ウィンドウ (Windows)、3D ボリューム (ボリューム)、および物理空間 (スペース) に分割します。
(1) Windows:SwiftUI に基づいて 2D インターフェイスを作成するための 2D ウィンドウ。これらのウィンドウには従来のビューとコントロールが含まれており、3D コンテンツを追加してエクスペリエンスの深みを高めることができます。アプリケーション インターフェイスには、従来のビューと制御メカニズムが含まれており、3D モデルを表示することもできます。たとえば、Model3D ビューと組み合わせると、動的な 3D コンテンツが 2D インターフェイスに埋め込まれます。 Model3D はアプリケーションに直接ロードでき、RealityKit でレンダリングされた 3D モデルを表示します。
(2) ボリューム:ボリューム ビューは 2D ウィンドウの 3D 拡張であり、3D モデルを全方向に表示して、ユーザーが複数の角度から表示できるようにします。ボリューム ビューは共有スペース インターフェイス用に設計されているため、表示される 3D モデルには境界ボックスが含まれます。 Volume は RealityKit または Unity を使用して 3D コンテンツの SwiftUI シーンを表示できます。
(3) スペース:エンティティ スペース。アプリケーションはデフォルトで共有スペースで開始され、アプリケーションはウィンドウ ビューとブロック ビューに基づいてコンテンツを表示でき、ユーザーはアプリケーションを再起動できます。どこでも これらの要素を配置します。共有スペースを使用すると、ユーザーは使用中に周囲の状況を確認できます。より没入型のエクスペリエンスを実現するために、アプリは、アプリのコンテンツのみを表示する専用のフル スペースを開くこともできます。
3.3 主な特徴
(1)visionOS は macOS、iOS、iPadOS 上のアプリケーションと互換性があります。
visionOS は基本的に iOS および iPad OS の拡張機能であり、ユーザーが使い慣れているコンピュータや携帯電話と簡単に簡単に統合できます。ユーザーは、使い慣れたスマートデバイスから勝手に逃げることなく、使い慣れた Apple Vision Pro 大画面ディスプレイを直接使用して携帯電話やコンピュータの画面を表示したり、音声キーボードや物理キーボードを使用して作業したり、携帯電話のタッチをマウスとして使用して画面を制御したりできます。 . 使用習慣。
(2) すべてのアプリケーションは 3D 空間に存在する必要があります
すべてのvisionOSアプリは3D空間に「浮遊」し、iOSまたはiPad OSから移植された基本的な2Dアプリも空間に浮遊します。従来の UI 要素に新しい Z オフセット オプションが追加され、開発者はパネルやコントロールを 3D 空間にプッシュして、特定のインターフェイス要素を他の要素の前または後ろに浮かせることができます。
(3) ハンドル操作なし
Vision Pro の実際の使用はハンドルから完全に独立しているため、追加のコントローラーの必要性が完全に排除されます。 Vision Pro はメガネの中に高精度の網膜センサーを搭載しており、目そのものが光線を延長したようなもので、どこを見ても UI が自動的に浮かび上がります。
(4) ビデオトランスペアレント伝送
十数台のカメラとコンテンツ アイトラッキング シリーズ センサーの正確な追跡のおかげで、VR と AR の統合が実現します。内部の目の焦点を復元およびモデル化することにより、画面コンテンツおよび外部コンテンツを表示するときに、ソフトウェア UI と現実世界を統合する浸透効果を実現できます。デジタル ノブを回転させることで、背景の遠近感を調整でき、UI が完全な没入感と完全な遠近感の間で自然に移行できるようになります。
(5) 既存ツールに依存したアプリケーション開発
開発者は、SwiftUI と UIKit を使用してユーザー インターフェイスを構築し、RealityKit を使用して 3D コンテンツ、アニメーション、視覚効果を表示し、ARKit を使用して現実世界の空間理解を実現します。同時に、Apple と Unity の協力により、多くの変換作業を行わずに、すべての Unity ベースのコンテンツを VisionOS ベースのアプリケーションに移行できます。これらにより、古いツールの開発で豊富な経験を持つ開発者が製品を迅速に作成し、開発者の知識移行コストを削減し、製品の迅速なプロモーションを促進できるようになります。
3.4 開発手法
Apple の空間コンピューティング プラットフォームは、開発者が使い慣れている SwiftUI、RealityKit、ARKit のフレームワークに基づいて構築されています。Apple は、これらのフレームワークを VisionOS 用に拡張し、新しいハードウェアとフルスペースのサポートを追加しました: 2D ウィンドウ - SwiftUI、3D シーン - RealityKit/Unity3D 、物理空間 - ARKit。
SwiftUI は、iPadOS および iOS をベースとした迅速な開発キットで、ユーザーがウィンドウ インターフェイスの開発を迅速に完了し、iPhone および iPad アプリケーションを SwiftUI にシームレスに統合できるようにします。このキットを使用すると、アプリケーションが空間内に複数のウィンドウと 3D シーンを表示し、2D と 3D での連携を実現できます。RealityKit は、U3D と同様の開発エンジンであり、Apple の 3D レンダリング エンジン RealityKit を使用して、アプリケーション内で 3D コンテンツとアニメーションを表示し、ライトとシャドウ視覚効果; ARKit は、周囲の空間と対話する方法を提供し、平面推定、シーン再構築、画像固定、空間位置決め、ヘッドマウント ディスプレイのモーション トラッキングなどの機能を使用して、Vision Pro がユーザーの周囲の環境を理解できるようにします。
SwiftUI + Xcode + Reality Composer で新製品開発を完了できると同時に、すべての iOS、iPad アプリなどが発売初日に自動的にサポートされるため、初期のコンテンツ不足の問題が軽減されます。
4.インタラクション方法
VisionOS は主に、目、ジェスチャー、音声との直接的な対話を中心に展開します。
視覚的インタラクション: 視線追跡テクノロジーを使用することで、視覚的なフォーカス ナビゲーションが実現されます。ユーザーがどのボタンを見ても、ボタンは代替状態になり、ユーザーがどのウィンドウを見ても、ウィンドウはアクティブ状態になります。ユーザーはこの要素を見た瞬間から、ジェスチャを使用して要素を操作できるようになり、GUI レベルでのカーソルの概念が不要になります。
音声インタラクション: 視覚的インタラクション チャネルと触覚的インタラクション チャネルの両方が使用されている場合、音声インタラクションはシステムと通信し、システムを制御する役割を果たすことができます。音声はメニューをフラット化するのに適しています。ユーザーが必要とする直接アクセスを提供します。
ジェスチャー インタラクション: ユーザーが目でボタンを選択すると、visionOS はユーザーのジェスチャーに基づいてどのイベントをトリガーするかをさらに決定します。たとえば、ユーザーが片手で親指と人差し指をつまむと、ボタンは「クリック」イベントをトリガーし、ユーザーがつまみ続けて手を動かすと、ボタンは「ドラッグ」イベントをトリガーします。 visionOS はカスタム ジェスチャもサポートしています。
ユーザーが目でボタンを選択すると、visionOS はユーザーのジェスチャに基づいてどのイベントをトリガーするかをさらに決定します。たとえば、ユーザーが片手で親指と人差し指をつまむと、ボタンは「クリック」イベントをトリガーし、ユーザーがつまみ続けて手を動かすと、ボタンは「ドラッグ」イベントをトリガーします。
VisionOS はまた、ユーザーがモデルを掴んだり、位置を移動したり、サイズを変更したりするなど、仮想オブジェクトと直接対話することもサポートしています。このとき、ユーザーはモデルを空中で操作するのではなく、実際にモデルの近くに手を置きます。これは、デジタル ツイン アプリケーションにとって実用的に非常に重要です。
5.利用シーン
ヘッドマウントディスプレイは比較的大型であり、原則として屋外での装着には適しておらず、主に屋内用途で使用される。正式に推進されるアプリケーションシナリオには、主にコミュニケーション、コラボレーション、仕事、エンターテイメントの4つの主要なシナリオが含まれており、それぞれのシナリオが3D空間の形で反映されます。ここでは主にコミュニケーションシナリオとコラボレーションシナリオについて簡単に紹介します。
5.1 通信シナリオ
現実と仮想を融合することで、コミュニケーションは二次元の画面上にとどまらず、周囲の空間を最大限に活用した三次元空間に入り込み、この空間にいるすべての人たちとコンテンツを共有したり、コミュニケーションしたりすることができます。すべてがウィンドウの形式で対話するため、複数の人々が 1 つのスペースでビデオ/映画/チャットを共有できます (会場に関係なく)。誰かが現実世界であなたと対話すると、場所に関係なく、周囲の環境をはっきりと見ることができます。シーンから切断されても、周囲のあらゆるものとの対話性を維持しながら、それらとの通信を維持できます。
5.2 作業シナリオ
VisionOS では、ユーザーは macOS と同じように任意のウィンドウを共有できます。従業員は、理想的なワークスペースで Mac をスムーズに使用したり、異なる視覚空間環境を切り替えたり、Vision Pro の他のアプリを Mac と並べて使用したりすることができ、旅行中はチームの同僚と同じ空間にいることができます。 AR でコンテンツをすばやく表示するなど、同じ空間でドキュメントを処理したり、仕事について話し合ったり、会議を開催したりできます。人々が 3D モデルを共有すると、visionOS はユーザーの方向だけでなく、AR スケール、アニメーション、コンテキスト情報も同期するため、誰もが同じエクスペリエンスを得ることができ、リモートでのビジュアル コラボレーションが可能になります。
6. GISとの統合ポイント
Apple の最初の 3D カメラである Vision Pro は、空間写真と空間ビデオをキャプチャできるため、ユーザーはまったく新しい方法で地理的な場所のシーンや特徴を記録および再作成できます。また、3 次元空間データをリアルタイムで分析できるため、GIS 専門家はより高い効率と精度を得ることができます。たとえば、Vision Pro は、現場の建物の高さ、面積、体積などのパラメーターを迅速に測定したり、傾斜、方向、曲率などの地形の特徴を特定したりできます。
Vision Pro は、目、ジェスチャー、音声、アクセサリなどの複数の入力方法をサポートしており、ユーザーは GIS データを柔軟に操作して操作することができ、音声、ジェスチャー、タッチを介して同じ地図上でコミュニケーションを行うことができます。 Vision Pro は、Apple の他のデバイスやサービスとシームレスに統合でき、GIS データを共有スペースに 3 次元形式で投影できるため、空間の異なる場所にいるユーザーがさまざまな角度や距離から地図を観察および操作するのに便利です。都市計画、緊急救助、災害救助などの任務を達成する テロ対策や暴動防止などの指揮任務における多部門の協力。
7.結論
Apple Vision Pro とそのvisionOS システムには多くのハイライトがあります。まず、インタラクション方法がより豊富で便利になり、大きな FOV + クリアな VST + スーパー コンピューティング パワーのサポートにより、より優れたシーン エクスペリエンスが得られます。同時に、Microsoft の Hololens と比較して、visionOS はビデオ透過伝送技術に基づいて AR と VR を統合し、より強い没入感とインタラクティブ性を実現します。第二に、Apple Vision Pro は macOS、iOS、iPadOS をシームレスに接続でき、App Store アプリケーション プラットフォームに依存して、ソフトウェア エコロジー環境の発展が基本的に保証されています。第三に、VisionOS 製品の開発は既存の成熟した製品に依存しているため、新製品開発の学習コストが削減され、開発者による迅速な開発が促進されます。 4 番目に、共有スペースの処理はデバイス上で行われ、3D マッピングにはクラウド処理が使用されず、部屋の視覚化とマッピングはプライベートのままになります。
VisionOS と GIS アプリケーションの組み合わせに関しては、現在仮想地理環境シミュレーション、空間環境強化、デジタル ツインに大きな応用可能性を秘めています 。空間コンピューティングには物理環境とデジタル環境の組み合わせが含まれ、メタバースの発展と将来の市場価値の高みの基礎となります。この意味で、VisionOS は初の宇宙用オペレーティング システムとして、長期的なフォローアップと注目に値します。
参考：
https://developer.apple.com/visionos/
https://juejin.cn/post/7243725358129561637
https://www.macrumors.com/roundup/visionos/
https://medium.com/@anishalok/beyond-screens-redefining-user-interfaces-and- experience
https://quan.ithome.com/content/sharedetail?id=274690
コメント | AR/VR 業界幹部から見た Vision Pro - Zhihu
Apple初の空間コンピューティングデバイス、Apple Vision Proの紹介 - Apple (中国)
https://benic360.com/apple-vision-pro-introduction/
(一部の素材はインターネットから取得したものであり、著作権は元の作成者に属します。この記事は共有と解釈のみを目的としており、商業目的ではありません。侵害がある場合は、ご連絡ください。関連するコンテンツは適時に削除されます。ありがとう！）
「未来GIS研究室」は、スーパーマップ研究所の上流科学研究機関として、将来の開発方向の洞察に努めています。 GIS 業界の発展と最先端技術の検証 最新の研究結果の主要製品への実装と迅速な変換の実現可能性。この学部は科学研究とイノベーションに重点を置いており、チームの雰囲気は自由で調和がとれており、科学研究の雰囲気が比較的強く、誰もが興味のある最先端の方向を掘り下げる機会があります。