以前、Qingting.com は、カメラを使用しない VR 全身追跡ソリューションを報告しました: Standable: Full Body Estimation (略して SFBE). このソリューションは、ヘッドマウント ディスプレイ + デュアルハンドル データを使用して、全身の動きデータをシミュレートおよび予測します。効果は悪くなく、良いです。
最近、CHI2023イベントで、カーネギーメロン大学のFuture Interfaces Group研究チームが同様の研究を発表しました。IMPoserは、IMUポジショニングに基づいた全身姿勢予測ソリューションであり、iPhoneなどの一般的に使用されるデバイスの使用を特徴としています。 、Apple Watch、Airpods VR 用の全身追跡データを提供する電子製品。以前に開発されたカメラ全身追跡ソリューションと比較して、IMUPoser ソリューションは使いやすく、コストが低く、追加のハードウェアは必要ありません。
VRで全身を追跡するのは難しいですか？
VR をより使いやすくするために、Meta は PC VR 製品を廃止し、VR オールインワン マシンに注力し始めました。VR オールインワン マシンは市場で広く歓迎され、VR ハードウェアのトレンドを引き起こしました。VR一体型機は箱から出してすぐに使え、装着したまま遊べるのが利点ですが、機能やハードウェア性能の面ではまだ限界があります。
たとえば、追加の設定とコストを避けるために、Quest オールインワン マシンには公式の全身トラッキング アクセサリが搭載されておらず、VR で全身アバターを制御する場合は 3 点位置決めのみに依存します。頭と手の動きと IK アルゴリズムで下半身の動きを予測します。
以前、FIG は下半身を追跡するために Quest ハンドルに広角カメラを追加することを検討していましたが、そのような解決策は実現可能ではありますが、複雑な計算が必要となり、コストが増加します。それに対して、ほぼ誰もが持っている携帯電話を使って全身の姿勢を把握することができれば、取り組みやすくなりそうです。携帯電話のカメラを使用して姿勢を追跡するのとは異なり、IMUPoser は位置特定に IMU を使用しますが、これは VR 追跡モジュールに一般的に使用されるテクノロジでもあります。違いは、人々が携帯電話、イヤホン、スマート ウォッチをより頻繁に使用することです。IMUPoser を使用するということは、特別なハードウェアを装着することなく、全身の姿勢を予測することができます。
実際、Apple は以前に同様のソリューションの特許を申請しており、Apple が比較的完全なソフトウェアとハードウェアのエコシステムを持っており、ウェアラブル デバイスには通常、加速度計やジャイロスコープなどの動作検出センサーが搭載されていることを考慮すると、適切な位置にあると考えられます。将来的には、AR/VR ヘッドセット、携帯電話、スマート ウォッチ、ヘッドフォンなどのデバイスをリンクして、全身のモーション トラッキングを実現できる可能性があります。
アルゴリズムが全身のポーズを予測
IMUPoser ソリューションの重要なポイントの 1 つは、携帯電話、スマート ウォッチ、その他のデバイスから収集されたデータを統合することです (この記事では、Apple のエコロジーを iPhone と組み合わせ、データの返送にはオプションの Airpods、Apple Watch、MacBook を使用しています)。ユーザーの全身姿勢を計算します。使用するアルゴリズムは、カスタマイズされた双方向 LSTM モデル (ロングおよびショート メモリ モデル) に基づいており、SMPL モーション キャプチャ モデルを出力します。
携帯電話、時計、イヤホンなどで、手足の位置や立ったりしゃがんだりした状態など、全身の姿勢を追跡するのに十分なデータが得られます。また、距離センサーにより携帯電話がポケットの内側にあるか外側にあるかを認識できます。また、スマートウォッチと携帯電話の間の距離（UWB測位に基づく）に応じて、携帯電話がどのポケットにあるのか、どの手にあるのかを識別することもできます。
もちろん、IMPoserの位置決めは携帯電話を持つシーンだけでなく、携帯電話をズボンのポケットに入れている場合でも、左右の足を別々に追跡することもできます。ポケットに収まるイヤホンも同様です。したがって、スマートウォッチと携帯電話を同じ腕に入れる、ヘッドフォンと携帯電話を同じポケットに入れるなど、最も可能性の高い組み合わせは 24 通りあります。一部のシナリオでは、IE の位置を特定するために 1 つのデバイス (イヤホン、携帯電話、時計) しか使用できず、身体全体の位置データが不完全になります。
手足の絶対位置データが欠如しているため、このソリューションは完全に正確ではありませんが、テストした携帯電話のリアルタイム測位精度は約 90.8%、スマートウォッチやイヤホンの測位精度は 100% に近いです。ただし、追跡データが最小基準よりも小さい場合は、予測アルゴリズムを使用して補正する必要があります。たとえば、ポーズを予測するときに、プリセット アクションを挿入する必要がある場合があります。IMUPoser は、ユーザーが歩いていることを認識すると、携帯電話と時計が配置されている側の腕と脚も動いていると想定しますが、反対側とは同期していません（人の自然な歩行姿勢に基づいています） )
応用の見通し
研究者らは、全身追跡は、フィットネス、モバイル ゲーム、状況認識、仮想アシスタント、リハビリテーション トレーニングなど、さまざまなシナリオで使用できると指摘しています。
では、IMPoser は、よりプロフェッショナルな全身モーション キャプチャ ツールに取って代わることができるのでしょうか? 精度の点では十分ではありませんが、AR/VRヘッドセットなどの既存のモーショントラッキングデバイスを補完および補完するために使用できます。
IMUPoser には、データ量が不安定であることに加えて、IMU 位置決めのノイズなどの制限もあります。また、上半身の動きを追跡するときに、一方の腕の位置データが欠落している場合、IMPoser は追跡されたもう一方の手の動きをコピーします。たとえば、手を上げて挨拶すると、システムはあなたが手を上げることを予測します。
検証の結果、研究者らは、下半身追跡の最も正確なシナリオには両脚からの IMU データの使用が必要であることを発見しました (ズボンの 2 つのポケットにはそれぞれ携帯電話とイヤホンが収納されています)。脚のデータの一部が欠落している場合でも、脚の動きに関する関連法則に基づいて、より合理的な動作を予測できます。参考：acm