周知のとおり、Meta は Quest などの VR ヘッドセットに限定されるものではなく、製品を人々の日常生活によりよく統合することを目的として、軽量の AR メガネも開発しています。軽量なハードウェアに加えて、ジェスチャー入力などの自然なインタラクション手法やAIビジュアルアシスタントなど、コンピュータビジョンやAI技術と切り離せない機能やインタラクティブ体験も重要です。
AI技術はARグラスの重要な部分となり、ARグラスのセールスポイントのメタワンとなるでしょう。特に、近年のメタ社の AI テクノロジーへの投資を考慮すると、これを信じる十分な理由があります。
Reality Labs は、AR グラスの AI システムの設計原則を学ぶことができる研究「XAIR」を発表しました。このフレームワークは、Explainable Artificial Intelligence Framework (XAI) や Human-Computer Interaction (HCI) などの研究に基づいており、AR グラスの AI 設計に貴重な参考となる 8 つの主要な設計原則が含まれています。
実験にはHoloLensヘッドセットが使用されました
XAIとは何ですか?
Qingting.com によると、XAI (Explainable AI) は Transparent AI (透明 AI) とも呼ばれ、理解しやすい動作を特徴としています。ほとんどの機械学習ベースの AI は、いわゆるブラック ボックス内で動作し、意思決定の背後にある理由や洞察を提供できないため、そのような AI は信頼できるかどうか、信頼できるかどうか、または偏っているかどうかが不確実であるため、リスクを伴います。
XAI の概念は 40 年以上前に遡りますが、その後、ブラックボックス AI/ML モデルの成功により、XAI テクノロジーは学術機関、規制当局、その他の業界の注目を集め始めました。調査によると、XAI はユーザーに明確な意思決定を提供し、信頼を築くことが期待されています。したがって、産業分野では、ユーザー エクスペリエンスを向上させるために XAI が日常のシナリオに適用され始めています。
XAI はさまざまな対象ユーザーにサービスを提供し、さまざまな用途に使用できます。初期の XAI 研究はアルゴリズム開発者、データサイエンティスト、臨床医学分野の専門家のみに焦点を当てていましたが、近年ではますます多くの XAI が一般ユーザーをターゲットにし、特定の製品を表示して推奨するなど、消費者向け製品と統合され始めています。ショッピングサイトの理由など。ただし、まだ初期の段階です。
XAIの重要性
AI を人間に広く理解させるには、学際的な研究努力が必要になります。たとえば、ML 研究者は、透明なモデル (決定木、ベイジアン モデルなど) を生成したり、事後解釈技術 (特徴の重要性、視覚的な説明など) を使用して説明を生成したりするアルゴリズムを開発しました。一方、HCI の研究者は、機械が生成した説明に対するユーザーの信頼と理解を向上させることに重点を置いています。一方、心理学の研究者は、人々がどのように生成し、コミュニケーションし、理解するのかという、より基本的な観点から XAI を研究しています。
オープンで透明な AI も非常に重要であり、AR/VR 分野における将来の開発戦略と一致しています。XAIR 研究における XAI の目的は、詳細や理由を生成することで、ユーザーが AI の決定と機能を明確かつ簡単に理解できるようにすることです。Meta氏は、XAIはAI主導のインタラクティブシステムの重要な部分であり、将来的には日常のARアプリケーションでも重要な役割を果たし、ユーザーが視覚化されたスマートサービスと対話するのを支援すると指摘した。XAI は、AR インテリジェント システムの動作をよりよく理解し、予期しない AI の決定を回避し、プライバシー意識を高め、ユーザーの信頼を得ることができます。
ただし、Meta が現在直面している課題の 1 つは、日常的な AR アプリケーション向けに効果的な XAI エクスペリエンスを作成することです。既存の XAI 研究のほとんどは、ユーザーとコンテキストによって生成される知覚情報、24 時間稼働、優れた適応性など、日常の AR シナリオの特性を考慮せずに、解釈の種類と生成手法の分類に焦点を当てています。これらの要素は、より人間に優しい解釈をもたらすだけでなく、解釈インターフェイスのデザインにも影響を与えます。
そこでメタ氏は、ARにおけるAIの決定をいつどのように説明するかを記述するXAIR設計フレームワークを提案した。XAIR フレームワークを構築するために、AR 体験デザインの好みを収集するために 500 人を対象とした実験も実施されました。さらに、AR インタラクションに関する 12 人の専門家の洞察も参照されています。
この調査の焦点は、次の 3 つの質問を特定することです。
- AIはいつ説明すべきか。
- 何が説明できるのか。
- 説明する方法。
これまでの研究では最初の 2 つの問題が調査されており、AR に固有ではありませんが、XAIR の設計に役立つ情報が提供されました。
XAI 設計ガイドライン
メタ氏は、AR メガネにインテリジェントなサービスが搭載されれば、AR メガネのセンサーが捉えた情報に基づいてコンテキストベースの提案をユーザーに提供するなど、AI が重要な役割を果たすようになるだろうと考えています。さらに、AI とユーザー間の対話は効果的な XAI 設計に基づいて、AI の決定の信頼性と信頼性を確保し、それによってユーザー エクスペリエンスを向上させる必要があります。
コンピューターや携帯電話向けの既存の XAI フレームワークとは異なり、AR の XAI 設計は、より深く豊富なコンテキスト情報 (ユーザーの状態を考慮した上で) を組み合わせる必要があるため、AR 専用に再設計する必要があります。さらに、AR の XAI は、日常の AR シナリオに適用して解釈コンテンツを物理空間と統合する前に、3D 認識機能を備え、リアルタイムでオンラインである必要があります。たとえば、レシピを推奨するときは、ユーザーの冷蔵庫にある食材を同時に強調表示します。つまり、シーンのコンテキストに基づいて決定を説明します。対照的に、市場にある既存の XAI フレームワークはこれらのニーズを満たすことができません。
そこで、Meta はユーザー調査を通じて 8 つの主要な設計ガイドラインをまとめました。
- 1) AI の結果は常に生成され、ユーザーが必要なときに簡単にアクセスできるようになります。
- 2) 2 つの条件が満たされない限り、説明を自動的にトリガーしないでください。ユーザーの高い認知負荷、切迫感などを特定するか、ユーザーの驚き、混乱、不慣れさ、不確かさなどを特定することです。
- 3) パーソナライズされた説明コンテンツでは、システムの目標、ユーザーの目標、ユーザーのポートレートという 3 つの要素を考慮する必要があります。
- 4) デフォルト状態では、理由の説明を優先し、簡潔な説明を選択します。
- 5) 常により詳細な説明を提供し、ユーザーが小さなプロンプトウィンドウなどを通じてニーズに応じて拡張できるようにします。
- 6) デフォルトでは、AI 出力と同じ解釈方法が使用され (触覚、音声を除く)、1 つのモードの負荷が高い場合は、別のモードが選択されます。
- 7) ビジュアル関連: コンテンツは主にテキストですが、画像の場合はユーザーが理解しやすいようにできるだけ簡略化する必要があります。
- 8) 視覚的な関連性: トピックのシーンに関連性がある場合は、本を読むときに推奨事項やフローティング ウィンドウを表示するなど、暗黙的なヒントを使用できます。関連性がない場合は、引き換えボックスなどの表示ヒントを使用します。
Meta は設計ガイドラインと組み合わせて、いくつかのアプリケーション ケースを開発し、10 人の設計者の間で検証しました。その結果、設計者は、XAIR が AR の XAI フレームワーク設計に包括的な参照または支援を提供し、AR の思考と想像力を刺激できると信じています。デザイナーの力。実験に参加した12人のエンドユーザーからも、XAIRの使いやすさが優れているとの報告がありました。
アプリケーション
この調査で、Meta は 2 つのデモンストレーション ケースを設計しました。興味があればご覧ください。
1) ユーザーが小道をジョギングしていると、AR メガネがユーザーに現在の季節や景色を考慮した周辺地図を表示し、近くの道路への迂回路を提案して桜を鑑賞します。AI が提供できる説明には、より良い景色、適切なルートの長さ、ユーザーのスケジュールなどが含まれます。説明形式にはテキストや桜の写真などが含まれます。
2) AR ユーザーが近所の人とガーデニングについて話し合った後に帰宅すると、AR メガネは周囲の植物に「メンテナンス」のプロンプトを表示し、ユーザーに植物の肥料の与え方を指示します。AI がプライバシーを侵害していると思われないように、この提案はユーザーが手動でトリガーする必要があり、手動でトリガーすることでより信頼を構築できます。さらに、AI は次のようなプロンプトを表示することもできます。システムがスキャンした後、植物の葉に異常な斑点があり、真菌または細菌の感染症に罹患している可能性があることを示します。説明フォームはテキストに加えて、ARを使用して葉の異常箇所をマークすることもできます（テキストは明らかなヒントですが、ARヒントはシーンと一体化した隠しタイプです）。参考：メタ