タイトルにもある通り、商用プロジェクトのためソースコードは公開できませんが、ここでは主にこの機能を実現するためのアイデアについてお話します。
人体関節点認識はMediapipe Unity
プラグインをベースに開発されており、比較的性能の低い CPU ホストでは Mediapipe を快適に動作させることができませんのでご注意ください。Mediapipe33の人体の関節点の図は以下の通りMediapipeの関節点はUnityの人体のボーンにマッピングされていますが、関節点の位置とボーンの位置のマッピングやその逆の動作がこの機能開発の難しいところです骨の。1. アニメーション リギング、ファイナル IK などの Unity IK プラグインを使用します。 2. ThreeDPoseUnityBarracudaを参照して、ジョイント ポイントを自分でマッピングします。
ここで使用するのは 2 番目の方法です。主に ThreeDPoseUnityBarracuda プロジェクトの VNectModel.cs スクリプトを参照します。ジョイント ポイント腹部上部の位置は、Mediapipe によって渡された位置に基づいて手動で計算して値を割り当てる必要があります。その他の位置は値から直接取得できます。メディアパイプを通過します。
さらに、ビルドするときは、リソースの読み込み方法を StreamingAssets に変更することを忘れないでください。
最終的な効果は以下の通りです。
MediaPipe ポーズ トラッキング