プロジェクトが必要な場合は、注意してプライベートメッセージを送ってください
opencv と mediapipe に基づく全国的なダンス ダンス運動の認識
1. 原理の紹介
1.1 OpenCV
Opencv (Open Source Computer Vision Library) は、オープンソース配布に基づくクロスプラットフォームのコンピュータ ビジョン ライブラリであり、画像処理とコンピュータ ビジョンにおける多くの一般的なアルゴリズムを実装しており、コンピュータ ビジョンの分野で最も強力な研究ツールとなっています。ここで、2 つの概念を区別する必要があります: 画像処理とコンピューター ビジョンの違い: 画像処理は、強調、復元、ノイズ除去、セグメンテーションなどの画像の「処理」に焦点を当てますが、コンピューター ビジョンはコンピューターを使用して人間の視覚をシミュレートすることに焦点を当てます。したがって、シミュレーションはコンピュータビジョンの分野における最終目標です。Opencv は主にビデオの読み込みとビデオの表示に使用されます。
1.2 メディアパイプ
Mediapipe は、オープンソースのクロスプラットフォームの共通機械学習 (機械学習) ソリューションを提供できる Google のオープンソース プロジェクトです。Mediapipe は実際には、顔検出、顔のキー ポイント、ジェスチャ認識、アバター セグメンテーション、ポーズ認識などのさまざまなモデルを含む、統合された機械学習ビジョン アルゴリズムのツール ライブラリです。人体の主要な 33 点の座標を取得できます。この記事では、人体の関連する特徴座標をジェスチャ認識に使用します。
2. 実験手順
この実験は主に人体の姿勢検出とインターフェース設計の2つに分かれています。
2.1 インポートツールキット
図に示すように、これらは QTWidgets、QtCore、QtGui を含むページ デザイン用の PyQt5 ツールキットです。QtGui には、ウィンドウ セット、イベント処理、2D グラフィックス、基本的なイメージとインターフェイス、フォントとテキスト クラスを含むがこれらに限定されない、さまざまな基本的なグラフィックス機能のクラスが含まれています。QtCore にはコア以外の GUI 機能が含まれており、このモジュールは、プログラムに含まれる時間、ファイル、ディレクトリ、データ型、ストリーム、URL、MIME タイプ、プロセス、スレッドなどのオブジェクトを処理するために使用されます。QtWidgets には、システム スタイルに準拠したユーザー インターフェイスを構築するための UI 要素コンポーネントの完全なセットが含まれています。ジェスチャ認識用の opencv と Mediapipe もあります。
2.2 中国語入力
PIL ツールを使用して、画像上に中国語を印刷できる関数を構築します。
2.4 姿勢位置情報データベースの構築
描画ツールと独自の位置情報ライブラリを作成します。
ビデオを読み込み、フレームごとに読み込み、画像のフレームごとにチャンネルを変更し、内蔵の位置情報ライブラリを使用して画像内の特徴点の位置情報を検出します。
2.5 位置情報の取得
左右の肩、左右のスパン、左右の膝、左右の目、左右の足首、左右の肘、左右の足首などの位置特徴情報と位置座標情報を取得します。
角度情報を取得します。
2.6 ジェスチャ認識
各位置点の異なる角度情報と特徴情報により、異なる動作が判断されます。そしてリアルタイムのステータスを描画します。
3 実験結果と評価
この実験では主に 1 つのフォークダンス映像を選択し、その映像の動作を分解し、どのような動作に属するかを識別します。映像には複数の動作が含まれるため、実験では代表的な 10 個の動作のみを選択して認識します。動作は次のように分類されます。以下の表にあります。
これらの各アクションの例を図に示します。
ここでは 2 つの例を示します。
具体的なインターフェイスベースの操作プロセスと表示インターフェイスは次のとおりです。
まず、class_win.py ファイルを実行し、[実行] をクリックして、図に示すように検出インターフェイスを生成します。
インターフェイスの右上隅にある 2 つのボタンは選択を表します。ビデオ ファイルの種類と検出の操作については、まずビデオ ファイルをクリックして選択し、フォルダーを開いて適切なビデオを選択し、[OK] をクリックしてから [実行] をクリックすると、結果は図のようになります。画面は左から右に表示されます
。オリジナルビデオ画面、リアルタイム検出結果画面、情報統計画面。
図に示すように、アクション 1 とアクション 2 を例とした実際の検出結果は次のとおりです。
