前回のレッスンでは、AR拡張現実を解読する方法を説明しました。このテクノロジーの過去と現在、およびそのアプリケーションシナリオを理解すると、ARが現在市場の風と波に乗り始めており、次のトレンドがあるようです。AR製品の登場により、科学技術界に革新の波が押し寄せ、仮想世界と現実世界が融合して画面の「飛躍」が完成し、人間とコンピューターの相互作用の設計も2次元平面から3次元世界に移行し始めました。だから、拡張された現実は、未来の技術のように、とてもハイエンドに聞こえます、それをどのように理解して作るのですか？この記事はあなたに答えを与えます。
深遠なことを簡単に説明してください。
ARテクノロジーの現状とコアアイデアを理解する
ARコンテンツの作成者は、次の6つのコアコンセプトを念頭に置く必要があります。これらのコンセプトの実現は、ARにおける「仮想と現実の組み合わせ」の鍵です。
到（アセットの配置と配置）
まず、「配置」の概念を導入する必要があります。静止したARオブジェクトは、壁、床、天井、空中の特定の位置など、実際の環境の特定のポイントに固定して、体験者が「現実と現実の組み合わせ」を感じることができるようにする必要があります。いずれの場合も、配置とは、仮想オブジェクトを実際の環境の対応する位置に安定して「固定」する必要があることを意味します。経験者自身が位置を移動しても、仮想オブジェクトは元の位置にとどまることができます。次の具体例を見てみましょう。
写真のコーヒーカップはAR仮想オブジェクトです。ユーザーが視点を切り替えると、テーブル上の仮想コーヒーカップが以前と同じように配置されます。このARエクスペリエンスは、ユーザーが飛び込むのを防ぎ、ARエクスペリエンスのリアリズムを維持します。
資産の規模とサイズ
ARオブジェクトが存在する実際の環境にとどまるだけでなく、観測距離の変化に伴うサイズの変化を反映できる必要もあります。あなたはこれらのシーンに精通している必要があります：車が遠くからあなたに向かって来ています。最初は非常に小さいです。近づくにつれて、車はどんどん大きくなります。絵画、スタンドの角度、距離を賞賛するとき高低、ビューも異なります。慎重に作成されたARエクスペリエンスでは、仮想オブジェクトは、実際の距離、表示角度、および観察者からの方向に応じてサイズと画像を変更する必要があり、ズームという望ましい視覚的インパクトを人々に与えます。AR仮想オブジェクトを仮想から切り離し、本物を真に置き換えることができる「神の操作」になることができます。
オクルージョン
オクルージョンとは、その名前が示すように、あるオブジェクトが別のオブジェクトによってブロックされている状況を指します。ARフィールドでは、仮想オブジェクトが生きているように見せたい場合、現実世界のオクルージョン関係を反映して、相対位置に応じて他の仮想オブジェクトや実オブジェクトの背後に隠れることができなければなりません。つまり、ARハードウェアは、部屋内のオブジェクトの位置を理解するだけでなく、仮想オブジェクトと他のエンティティとの間の相対距離、および仮想オブジェクトとユーザーの間の相対距離（シーン全体の深度マップ）を決定する必要があります。
ARオブジェクトが実際にアプリケーションの実際の環境に存在するという感覚は、「イマージョン」と呼ばれます。この没入型のインタラクティブな体験を得るには、シームレスなオクルージョンを実現するために絶えず再調整する必要があります。ユーザーは常に移動しているため、これは成功するARコンテンツを作成する上での最大の課題の1つです。
点灯
実際のオブジェクトと同じように、AR仮想オブジェクトは、オブジェクトの明暗の変化をさまざまな照明条件にマッピングして、リアルに感じる必要があります。これらのオブジェクトの色、明暗、および影は、シーンの初期照明と照明が変更されたときに、それに応じて調整する必要があります。たとえば、ARエクスペリエンスでは、家の照明を暗くすると、仮想オブジェクトの色と明るさも変化するはずです。オブジェクトが移動すると、その光の受信方向と影も移動するはずです。
固体
ARオブジェクトは物理的である必要があります。これは自明のように聞こえますが、それでも開発者が意図的に実装する必要があります。ARコンテンツを作成する場合、仮想オブジェクトは実際のオブジェクトと重なったり、同じスペースを占有したりしないでください。また、空中に吊るしてはいけません。そうしないと、ユーザーの没入型インタラクティブエクスペリエンスに影響します。
コンテキスト認識
現実感を生み出す最後の要素は環境認識です。これは達成するのが最も難しい機能です。ARハードウェアデバイスが環境内のすべてを理解し、その高さ、サイズなどを認識する必要があります。主要なオブジェクトが空間内を移動すると、実際の環境でのテーブルと椅子の配置、テーブル上のアイテムなど、それらの状況がどのように変化するか。デバイスが周囲の環境を認識するときに追跡する必要のある多くの要因があります。ARデバイスは、仮想オブジェクトのリアリズム、流暢さ、機能性が低下しないようにしながら、知覚情報を迅速に生成する必要があります。これは、今日のARコンテンツ作成者が直面している最大の課題の1つです。
ARCoreが知っておくべき重要な機能
上記の6つのARコンセプトを実現し、開発者がさまざまな課題に直面してより良いAR作品を作成できるようにするために、企業はソフトウェアツールの開発に投資しています。Googleが立ち上げた拡張現実アプリケーションを構築するためのプラットフォームとして、ARCoreはクラウドソフトウェアとハードウェアデバイスの進歩を利用して仮想オブジェクトを現実世界に配置し、開発者がよりシンプルな方法とより強力なツールで拡張現実体験を構築できるようにします。次に、ARCoreが開発者がこのビジョンを達成するのにどのように役立つかを理解しましょう。
モーショントラッキング-モーショントラッキング
ARは、コンピュータービジョンに依存して環境を認識し、その中のオブジェクトを認識します。コンピュータービジョンプロセスの最初のステップは、視覚情報、つまりハードウェア周辺の環境をデバイス内の「脳」に送信することです。没入型テクノロジーで環境情報をスキャン、識別、細分化、分析するプロセスは、追跡と呼ばれます。ARフィールドでは、追跡する2つの方法があります。Outside-inTrackingとInside-outTrackingです。
アウトサイドイントラッキング
アウトサイドイントラッキングを使用する場合、カメラまたはセンサーはARデバイスの内部ではなく、スペース内の他の場所に設置されます。たとえば、ARデバイスの視界が遮られないようにするための壁またはブラケット。同時に、これらの「プラグインデバイス」は、ARデバイスに直接またはコンピューターを介して情報を送信します。理論的には、外部カメラやセンサーのサイズは配置スペースのサイズに応じて選択できますが、電力消費の問題が発生します。機能が強化されると、移植性が低下します。ヘッドセットと外部センサー間のリンクが一時的に中断されると、トラッキング信号が失われ、視覚効果の没入感が失われる可能性があります。
（外側からの追跡）
（裏返しに追跡）
インサイドアウトトラッキング
インサイドアウトトラッキングを使用する場合、カメラとセンサーはデバイス本体に組み込まれています。私たちの日常生活では、多くのワイヤレスデバイスに環境を観察するためのカメラと情報処理装置が組み込まれています。最も典型的な例はスマートフォンです。Microsoft HoloLensなどのARヘッドセットも、ARトラッキングを裏返しに使用します。HoloLensフレームには、周囲を分析するための5つのカメラ、1つの深度測定カメラ、1つのHDカメラ、1つの光センサー、および4つのマイクがあります。
ただし、これらすべてのハードウェアには、スペース、電力消費、および発熱が必要です。理想的には、スタンドアロンのARデバイスはポータブルで、スマートフォンのようにいつでも使用できます。しかしそれ以前は、スマートフォンベースのARは、世界中のほとんどの人がARコンテンツを操作するための主要な方法になっています。
スマートフォンまたはスタンドアロンヘッドセットでARエクスペリエンスを提供するかどうかにかかわらず、すべてのARアプリケーションは、現実的な仮想オブジェクトを表示するように設計されています。ARCoreシステムの最も重要な機能の1つは、モーショントラッキングです。ARプラットフォームは、ユーザーがいつ移動するかを知る必要があります。この背後にある一般的なテクノロジーは、「リアルタイム同期ポジショニングおよびマッピング（SLAM）」と呼ばれます。これは、ロボットとスマートフォンが技術分析を実行し、現実の世界を理解し、それらの方向を決定するプロセスです。SLAMプロセスでは、カメラ、深度センサー、光センサー、ジャイロスコープ、加速度計などのデータを収集するための一連のハードウェアが必要です。ARCoreはまた、これらのハードウェアを使用して環境を理解し、この情報を使用して適切なアンカーポイントを設定し、平面と特徴点を検出してARエクスペリエンスをレンダリングします。具体的には、ARCoreを介したモーショントラッキングのプロセスは、「パラレルレンジングとマッピング」（略してCOM）のプロセスです。
簡単に言えば、COMは、周囲の環境に対する空間内の位置をスマートフォンに通知し、環境内の視覚的に異なる機能をキャプチャすることでこの目標を達成できます。この視覚的な違いの特徴を「特徴点」と呼びます。「特徴点」は、椅子の端、壁の照明スイッチ、カーペットの角、または環境に現れる可能性のある任意の点であり、位置は常に同じです。したがって、高コントラストの視覚効果は「特徴点」になる可能性があります。ARCoreは、知覚された特徴点を、スマートフォンによって提供されるモーション情報（慣性データとも呼ばれます）と組み合わせます。
最近の多くのスマートフォンには、電話の角度を測定するためのジャイロスコープ、電話の速度を測定するための加速度計、特徴点、および慣性データを組み合わせて、ARCoreが環境内の電話の向きと位置を決定するのに役立ちます。ARCoreが環境を理解していると、仮想オブジェクトを実際の環境に配置しやすくなり、ユーザーにインタラクティブな没入型エクスペリエンスを提供できます。
環境理解：特徴的な点と平面を見つける
-環境理解：特徴点と平面発見
環境理解とは、ARCoreがARデバイスの周囲の環境を確認し、関連情報を処理および使用するプロセスを指します。このプロセスは「特徴点」から始まります。ARCoreは、電話のカメラを使用して、表面上の特徴点のクラスターをキャプチャし、平面を作成します。「平面検索」の概念は、平面を検出して生成するARCoreの機能を指します。ARCoreはこれらの平面を認識し、物理空間に3Dオブジェクトを正しく配置および調整できます。たとえば、仮想オブジェクトを実際の地面とテーブルに配置します。そうしないと、仮想オブジェクトは実際には「雲と霧の中を飛ぶ」ことになります。したがって、仮想オブジェクトでさえ、実際のオブジェクトと同じ物理的規則に従う必要があります。
光の推定-光の推定
電話に出るときに電話をかけると、電話の画面が自動的に消えることに気付いたと思います。周囲の環境が変化すると、携帯電話の画面がそれに応じて明るさの変化を調整します。上記の機能の実現は、スマートフォンに装備された光センサーの恩恵を受けます。現在のARテクノロジーは、環境全体の明るさ、色、色温度の認識など、光のグローバルな推定をサポートしています。ARCoreは、カメラ画像のピクセルをスキャンして入射光の平均値を決定し、ARオブジェクトに最適な照明を提供します。
光と影は、物事が裸眼で本物であるかどうかを判断する際の重要な要素です。仮想オブジェクトがリアルに見える理由は、主に、仮想オブジェクトが照明の効果を真に反映しているためです。実際には、光源の方向、色の温度、ハイライトなどの条件によって、オブジェクトの外観が変わります。明暗が絡み合い、影がリアルに見える場合のみ。ARCoreは、光推定を使用して、ユーザーが現実的なARアプリケーションとゲーム体験を作成できるようにします。
アンカー-アンカー
ARCoreが周囲の環境の分析を完了し、特徴点を配置した後、ARオブジェクトのアンカー点の設定を開始できます。アンカーポイントはアンカーポイントとも呼ばれ、仮想オブジェクトが常に配置される位置であり、主に静的仮想オブジェクトに適しています。たとえば、テーブルに仮想ランプを配置する場合は、テーブルにアンカーポイントを設定する必要があります。下の図に示すように、これはARCoreによって検出および認識された水平面です。これで、ライトが配置されると、ある位置に固定されます。デバイスが移動すると、それに応じて反応しますが、向きを変えると、この仮想ライトはデスクトップに残ります。
実環境で吊り下げる必要のある仮想飛行機のようなものの場合、上記の固定方法は明らかに機能しません。アンカーポイントの設定には、平面検索、モーショントラッキング、およびビジョンシステムとの協調作業が必要なためです。したがって、ARプラットフォームの場合、アンカーポイントを正確に決定することは困難です。継続的な調査によってのみ、平面画像を実際に生き生きとさせることができます。
このコースを通じて、ARのコアテクノロジーとARCoreプラットフォームの強力な機能についてある程度理解できたと思います。次のレッスンでは、ARが現在直面している技術的な課題を詳細に整理し、ARテクノロジーのさらなる革新の可能性を探ります。