ジャーナル：IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTA TION SYSTEMS
ペーパーは
、次のリンクに対応しています：https：//pan.baidu.com/s/1l-LybqzJ3YOfs5aM0oxkAQ
抽出コード：zqdcドライバーの気分の
ための感情認識のためのコンボリューション双方向長期短期メモリニューラルネットワークドライバー
認識された畳み込み双方向の長期および短期メモリニューラルネットワーク
概要
ドライバーの感情をリアルタイムで認識することで、交通の安全性を大幅に向上させることができます。通信技術の急速な発展により、大量のビデオデータを処理し、ドライバーの感情をリアルタイムで認識することが可能になりました。ドライバーの感情を効果的に認識するために、新しい深層学習フレームワーク-畳み込み双方向の長期および短期メモリニューラルネットワークが提案されています。この方法は、顔の皮膚情報から抽出された幾何学的特徴とRGB成分の変化から抽出された心拍数に基づいてドライバーの感情を予測します。畳み込み神経回路網を使用して得られる顔の幾何学的特徴は、双方向の長期および短期記憶（デュアルLSTM）心拍数分析の中間変数です。続いて、デュアルLSTMの出力は、心拍数の特徴を抽出するためのCNNモジュールの入力として使用されます。CBLNNは、マルチモーダル分解バイリニアプーリング（MFB）を使用して、抽出された情報を融合し、幸福、怒り、悲しみ、恐れ、中立の5つの一般的な感情に分類します。感情認識方法をテストし、リアルタイムで迅速かつ安定して感情を認識できることを証明しました。
インデックス用語-感情認識、顔の皮膚、心拍数、双方向の長期および短期記憶（デュアルLSTM）、CBLNN。
I.はじめに
モバイル通信技術の成熟により、大量のデータをリアルタイムでリモート処理センターにアップロードして、重い操作を実行し、ユーザーのニューラルネットワークを調整することができます。センサー技術と深層学習アルゴリズムの開発により、リアルタイムの感情認識がより正確になり、現実の世界に適用できるようになりました。特に輸送分野では、ドライバーの感情をリアルタイムで認識することが重要な解決策になり、ドライバーの行動を変える可能性があり、それによって運転中のドライバーの潜在的な危機を減らすことができます。[1]、[2]。
感情をリアルタイムで認識するために、音声、テキスト、顔の表情、視線方向、生体電気信号など、多くの機能が精度と使いやすさを向上させると考えられています。たとえば、一部の音声およびテキスト機能を使用して、人の感情状態を識別することができます[3]、[4]。ただし、実際の運転状況では、視覚的な特徴よりも取得が困難です。
通常、感情は顔の表情を通して優勢です。たとえば、カメラベースの検出方法[5]は、ユーザーの状況（ゲームのプレイ、車の運転など）での観察者の対話をより自然で便利にするために提案されています。一般的に言えば、2つの顔認識方法があります。すなわち、ジオメトリベースの方法[6]と外観ベースの方法[5]と[7]です。顔の特徴は外的要因の影響を受けやすいため、非常に複雑なデータ収集装置が必要です。また、感情認識の分野では、五感器官の個性が大きく異なり、五感の一般化能力が強くありません。したがって、顔の特徴を使用するだけでは、感情を正確に認識するのに十分ではありません。
視覚的および音的特性とは異なり、心電図、筋電図などの生体信号。これは、ほとんどの感情検出実験で広く使用されています。たとえば、最近の実験では、マイクロ波、熱画像、およびその他の方法を使用して心拍数を検出しました[8]。しかし、これらの方法では、被験者は特別な装備を着用し、直接接触する必要があり[9]、[10]、それによって被験者の活動を妨害します。
この作業では、これらの制限を克服できる新しい方法を提供することを目標としています。
心拍数と顔の形状に基づく新しい深層学習フレームワークCBLNNが提案されています。この方法では、CNNを使用して顔の幾何学的分析を実行し、CNNによって取得された顔の特徴を中間変数として使用して、デュアルLSTM心拍数分析プロセスに参加します。感情的な分類結果を得るための顔の特徴と心拍数の特徴の融合。この記事の主な貢献は次のとおりです。
1）顔の形状と心拍数に基づくドライバーの感情知覚法を提案する。この方法では、顔の皮膚の明るさの変化によって得られる心拍数を導入して、幾何学的特徴の欠落している情報を補います。この方法は、従来の単一フレームの顔の構造状態の感情認識方法の利点を保持するだけでなく、時間変化の考慮を増やします。
2）この方法は、CNNとデュアルLSTMを効果的に組み合わせます。空間データの分析は時間データの分析に参加し、それによって空間特性と時間特性をより効果的に組み合わせます。
残りの論文は次のように構成されています。2番目のセクションでは、関連する作業を紹介します。セクションIIIでは、この提案された方法の概要を説明します。4番目のセクションでは、CBLNNモデルを詳細に紹介します。5番目の部分は感情認識方法です。次に、セクション6で実験と結果を示します。議論についてはセクションVIIを参照してください。結論はセクション8に含まれています。
2.関連作業
A.仮想クラウドコンピューティング
輸送分野でのクラウドコンピューティングに関する多くの研究があります[11] – [14]。Wan et al。[15]は、モバイルクラウドコンピューティングに基づく戦場監視システムを提案しました。Hashim Eza et al。[16]は、信頼性が高く、安全で、プライバシーを意識したリアルタイムのビデオレポートサービスを提供するのに役立つ新しい車両ネットワークシステムモデルを提案しました。Sorkhoh et al。[17]は、ワークロードのオフロードと、エッジで利用可能なコンピューティングリソースでのコンピューティングタスクのスケジューリングの問題を解決しました。Aissioui et al。[18]は、自動車システムのニーズを満たすためにモバイルエッジコンピューティング（MeC）アーキテクチャを使用して、Follow Me Edge Cloud（FMeC）の概念を導入しました。Tao et al。[19]は、効果的な車載データクラウドサービスを提供するための通信をサポートする車載クラウドコンピューティングプラットフォームを提案しました。
B.音声ベースの認識
RamakrishnanとElEmary [3]は、音声感情知覚の音響特性を提案し、音声感情知覚の10の興味深いアプリケーションを紹介しました。自動音声感情認識の研究では、Chavhan et al。[4]は、「幸せ」、「悲しい」、「中立」、「恐怖」などの状態を分類するための分類子としてSupport Vector Machine（SVM）を使用しました。テスト結果の成功率は、男性で94.73％、女性で100％です。ニュートラルケースの正解率は93.75％でした。
C.顔ベースの認識
Monkaresiet al。[8]は、2つの主要な顔の表情認識方法を使用しました。1つはジオメトリベースで、もう1つは外観ベースです。これら2つの方法にはそれぞれ長所と短所があり、それらを組み合わせることで良好な結果が得られています。Mariooryad et al。[20]は、顔の表情に対する発音プロセスと内部感情の影響を検討しました。Xu et al。[21]は、顔のダイナミックマップと呼ばれる方法を提案しました。これは、連続的な動きの場合でも人間の感情を正しく検出することができます。Hu et al。[6]は、検出された顔の特徴を差分画像計算の対象領域として使用してローカル値を改善することにより、MHIを改善しました。Wu et al。[7]は、頭の姿勢と視線を組み合わせて継続的な感情認識を行う2つの方法を提案しました。Jiang et al。[5]は、高度な人間の感情認識の問題を解決するために、確率とアンサンブル学習（PIL）に基づく分類アルゴリズムを提案しました。
D.バイオメトリクスに基づく認識
Lopez-Gillet al。[10]は、アイトラッキング、バイオメトリクス、および脳波（EEG）測定装置を使用して基本的および複雑な感情を研究する方法を提案しました。Ferdinando et al。[22]は、心電図から心拍変動（HRV）を導き出し、感情認識で使用される標準機能のいくつかを決定し、感情を覚醒価格空間に転送しました。Katsigiannis et al。[23]は、ECGとEEGデータを統合するマルチモーダルデータベースDREAMERを提案しました。参加者は、データベースを改訂するために、各刺激の後に自己評価を実行しました。Arunza et al。[24]は、HRVの短い時系列の非線形の複雑さを説明し、視覚的感情誘導実験でそれらの方法を検証しました。Dabanlu et al。[9]は、涼しいトーンと暖かいトーンを刺激することによってHRVを分析し、ポジティブな感情とネガティブな感情を関連付けました。Dabanlu et al。[9]は、IoMTに基づく感情認識システムを提案しました。AppelhansとLucken [25]は、HRVは、社会的および心理病理学における感情的理解のプロセスを高めることができるアクセス可能な研究ツールであると結論付けました。Quintana et al。[26]は、HRVの増加が人の感情認識能力を向上させることができることを証明しました。
これらの方法は大きなパフォーマンスを達成しましたが、次の制限を要約します
。1）照明条件の影響に抵抗するために、従来の方法ではLBP [8]やグレースケール画像などの輝度情報を無視します。
2）従来の感情認識方法は、主に単一のフレームに焦点を合わせており、信号の時間変化に含まれる情報をほとんどまたはまったく考慮していません[8] – [21]。
3）生理学的信号を使用するほとんどの方法は侵襲的であり、ドライバーの操作を妨害します。ビデオベースの検出方法は、より適用可能で費用効果が高いです。
3.概要
Kinect v2を介して人間の顔の形状と心拍数を検出し、人間の感情を推定する、新しい深層学習フレームワークCBLNNが提案されています。図1に、提案されたCBLNNメソッドのプロセス図を示します。Kinect v2は、顔の特徴をキャプチャするために使用されます。さらに、全身の血流によって引き起こされる顔の明るさの周期的な変化を使用して心拍数を決定でき、Kinectv2はそのような変化を検出して心拍数を取得できます。この方法では、CNNを使用して顔の幾何学的分析を実行し、CNNを介して取得した顔の特徴をデュアルLSTMの心拍数分析プロセスに参加させます。デュアルLSTMの出力は、心拍数機能を取得するためにCNNに入力されます。CBLNNは、マルチモーダル分解バイリニアプールを使用して、抽出された情報を融合し、5つの一般的な感情に分割します。
次のセクションでは、提案されたCBLNNメソッドの詳細について説明します。
4.低レベルの特徴抽出
A.心拍数の特徴の抽出
心拍数と顔の感情の間には強い相関関係があります。McCraty et al。[27]は、特定の精神状態は常に異なる心理的および行動的要因に関連しており、特定の心拍パターンに関連していることを観察しました。下の図は、心拍数と速度のグラフです。図2は、特定の感情の下での心拍数の変化を示しています。
心拍数はKinectv2によって収集されます。このデバイスは、体全体の血流によって引き起こされる顔の明るさの周期的な変化を検出できます。実際、血流によって人間の皮膚の表面はわずかに変化し、Kinectデバイスはカメラを通して人間の皮膚の変化をすばやく認識します。Kinectのカメラセンサーによって検出される明るさは、顔の筋肉を通して血液によって吸収される光の量に反比例します。血液が顔の筋肉を通過するときの光が弱いほど、センサーはより多くの光を検出します。明るさの周期的な変化は、心拍数を決定するために使用できる信号/波として説明することができます。独立成分分析（ICA）は、明るさの変化を心拍数に一致させるために使用されます。独立成分分析は、信号の高次統計特性に基づく信号分析方法です。観測されたランダム信号は次のとおりです。
ここで、Xは観測信号マトリックスであり、各観測信号間に統計的な相関関係があります。変換行列Wの変換後、信号行列Sの信号成分間の相関が減少します。特徴マトリックスの共同近似対角化（JADE）、独立成分分析アルゴリズムを使用して、混合R、G、B、IRデータの分離マトリックスを提供します。独立したコンポーネント分析アルゴリズムを使用して、赤、緑、青、赤外線の混合データの分離マトリックスを提供します
JADEアルゴリズムの目標は、混合行列の逆数を計算することです。これは、4つのステップで説明できます[28]。
分離後、信号は高速フーリエ変換を使用して抽出されます[29]。バンドパスフィルタリングを使用して、一致する心拍数の範囲を見つけます。周波数帯域の範囲は0.7Hz〜4 Hzで、これは1分あたり42〜240ハートビートに相当します[30]。
B.
人間の顔の幾何学的特徴の抽出Kinectが提供する顔追跡SDKは非常に信頼性が高く、人間の顔をリアルタイムで追跡できます。フェイストラッキングSDKは、121の3D共有ポイントと100のトラッキングポイントを提供できます[31]。顔のバウンディングボックスは、顔の特徴点によって決定できます。光、角度、背景の影響により、顔の画像にノイズが存在することが固有であるため、顔の特徴の抽出に直接使用することはできません。これらの画像は前処理する必要があります。カット、スケーリング、フィルタリング、ノイズ除去、ヒストグラム等化、およびグレー等化の後、元の取得画像は、後続の特徴抽出のために正規化された標準画像になります。
画像を48px×48pxにカットおよびスケーリングした後、Gaborウェーブレットが画像処理に使用されます[32]。この作品では、円形のガウスエンベロープガボールウェーブレットが顔認識によく使用されます。コア機能は次のように定義されます。
主成分分析は、特徴ベクトルを低次元の部分空間に投影する線形マッピング方法です。顔の特徴ベクトルがガボール変換によって抽出されると、主成分分析が適用されて低次元の特徴分析が得られます。異なるフィルターで得られた特徴ベクトルを分離し、主成分分析を使用して、各フィルターで得られた特徴ベクトルの次元を減らします。各サンプルの最終的な特徴は、同じ次元の複数のベクトルで構成されています。
V.CBLNNモデルのネットワーク構造
CBLNNのネットワーク構造を図4に示します。CBLNNでは、CNNは顔の形状を処理するために使用されます。CNN [34]は、複雑な問題を解決するために広く使用されている深層学習法です。ネットワークは、畳み込み層とプーリング層で構成されています。最初にコンボリューションを実行し、次にマージして、出力を入力として次のコンボリューションレイヤーにフィードします。
CNNの特性により、画像の特徴の抽出に大きな利点があります。生物学的視覚細胞の局所的知覚の理解に基づいて、CNNは畳み込みに部分フィルターを使用します。具体的には、入力項のローカルサブマトリックスとローカルフィルターの間の演算は内部積です。データをより適切に表すために、畳み込みレイヤーを使用して、フィルターを介して複数の出力マトリックスを処理します。各出力マトリックスのサイズは（N-m + 1）です。具体的な操作プロセスは次のとおりです。
ここで、x1、ji、およびlはlを表します畳み込み層、IはI畳み込み出力行列の値を表し、jは対応する出力行列の数を表します。左から右へのレイヤーのインデックスは0からNに対応します。ここで、Nは出力マトリックスの畳み込みの数を表します。fは非線形関数であり、ここではシグモイド関数が使用されます。
CNNのプーリング層は、データの内部接続を破壊することなく、マトリックスの次元をさらに縮小するプロセスです。プーリング層は、最大値（最大プーリング）または平均（平均プーリング）を選択できます。ただし、この方法では、入力が前の畳み込み層からのものである平均プーリング層を使用し、その出力が次の層の入力として使用されます。
平均プールは、ローカル平均を通じて次元数を減らすために使用されます。詳細な操作手順は次のとおりです。
ここで、xl、jiは、プーリング後のローカルペアの出力項目を表します。
この方法では、Kinectを使用して顔の皮膚をリアルタイムで検出し、顔の皮膚のデータから人体の行動特性を計算します。入力畳み込みニューラルネットワークをトレーニングおよびテストする前に、入力データを前処理する必要があります。データ収集プロセスでは、サイズが15×1のベクトルに制限されます。ここで、15は、低次元の部分空間に投影した後の次元を表します。主成分分析は、特徴の次元を減らすだけでなく、元の情報を可能な限り保持することもできます。さらに、さまざまなフィルターで取得された顔の特徴が分離され、寸法が縮小されます。目標は、フィーチャの空間相関を維持することです。これは、CNN特徴の抽出に適しています。
最後の畳み込み層の出力は、心拍数の二重LSTM [35]分析プロセスに参加するための中間変数として使用されます。
デュアルLSTMは、一種のRNN（反復ニューラルネットワーク）です。デュアルLSTMは、連続動作の心拍信号ポイント（N個の取得ポイント）のシーケンスをベクトルにエンコードし、hNとして記録するために使用されます。他のアルゴリズムとは異なり、デュアルLSTMは情報を追跡できるため、シーケンスの処理に最適です。デュアルLSTMは、心拍数信号ポイントベクトルh0を2番目の心拍数マップポイントベクトルと組み合わせて、新しいベクトルh1を生成します。次の心拍数マップポイントベクトルと組み合わせて、ベクトルhNまでh2を生成し続けます。
…
LSTMは長期的なシーケンス情報をキャプチャできますが、一方向のみを考慮します。これは、LSTMの現在のフレームが現在の状態によってのみ影響を受けることを意味します。この関係を強化するために、現在のフレームを処理するときに次のフレームも考慮します。デュアルLSTMはこの状況に適しています。最初の層は順方向LSTMであり、2番目の層は逆方向LSTMです。最終出力は、次の式に従って計算できます。
6.実験
A.実験環境
私たちの方法を評価するために、2セットの実験を行いました。実験の最初のセットは、2つのサブ実験で構成されています。1つ目は、心拍数推定の精度を分析します。2番目の実験は、他のモデルとの比較実験です。2番目の一連の実験は、シミュレーション環境での伝送速度を検証することです。
安全上の理由から、データを収集するためにシミュレートされた運転環境を選択しました。運転経験のある12人のボランティアが、3人の女性と9人の男性を含むデータを収集するために招待されました。図5に示すように、Kinectはドライバーの真正面に配置され、ドライバーの顔を捉えることができます。各ビデオは1分のセグメントにカットされ、ボランティア自身によってマークされました。
次のステップでは、CNNを介して取得された顔の特徴がデュアルLSTMの入力として使用されます。その目的は、Bi-LSTMによる心拍数データの分析に参加することです。感情を分類するために、SoftmaxはMFBの後に接続されています。Softmaxの出力は、感情認識分類です。最後に、リカレントネットワークはBPTTによってトレーニングされます[37]。具体的には、バッチは64に設定され、勢いは0.9です。学習率は0.01から始まります。次に、20,000回の繰り返しごとに、学習率を10で割ります。50,000回の繰り返しの後、トレーニングは収束しました。テストサンプルを表1に示します。この表には、被験者から提供された5つの感情が含まれています。サンプルの一部を図6に示します。
B.心拍数推定の分析
実験の心拍数は顔のデータに基づいて推定されます。まず、この心拍数の精度を評価します。一定期間の顔のデータから心拍数を取得します。選択した移動ウィンドウサイズが心拍数の精度に与える影響を定量化するために、3つの異なる移動ウィンドウサイズをテストしました。普通の人の心拍数は42〜240 bpmであることに注意してください。つまり、心拍間隔は0.7〜4秒になります。この事実に基づいて、分析用に0.5秒、1秒、2秒、4秒、および8秒の5つの異なる移動ウィンドウサイズを選択しました。グラウンドトゥルースは、BMD 101ECGセンサーによって測定されます。
表2に示すように、4秒の移動ウィンドウサイズが最も精度が高くなります。水平実験では、心拍数測定の移動ウィンドウサイズは4秒に設定されています。図7は、心拍数法（Kinect v2）の非接触測定が基本的な事実と密接に関連していることを明確に示しています。図8にエラー分布を示します。
C.認識
この実験では、さまざまなレベルの感情的特徴を使用して、モデルのパフォーマンスを評価します。セクション3で説明したように、顔の形状と心拍数のパフォーマンスを別々に評価しました。次に、これらの感情的な機能の組み合わせのパフォーマンスを評価しました。次の2つのサブセクションでは、心拍数を使用しない方法、方法[6]および方法[9]を使用して結果を分析します。
1）顔の形状のみによる認識：まず、比較のベースラインとして、実験データセットに対する顔の形状の影響を確認します。合計100回のテストを実施し、これらのテストの結果を並べ替え、10番目から90番目まで並べ替えたデータを選択し、平均を計算しました。表3に示すように、心拍数なしの方法は、「幸せ」（86.36％）、「怒っている」（84.00％）、「悲しい」（83.96％）、「中立」（86.43％）、恐怖の検出に適しています。正解率は比較的低く、49.09％に過ぎません。私たちの方法は、方法[6]および方法[9]と同じ精度を達成できます。私たちのモデルは、幸福、怒り、悲しみ、中立性を識別するのに同様の精度を持っていることがわかります。しかし、恐怖の正確さははるかに低いです。これは、恐怖の感情が複雑すぎて、顔でのこの感情の表現が他の感情とあまりにも似ているためである可能性があります。
2）顔の形状と心拍数による認識：
同様に、合計100回のテストを実施し、これらのテスト結果のデータを並べ替え、10番目から90番目まで並べ替えたデータを選択し、平均を計算しました。表4に示すように、私たちの心拍数法は、「幸せ」（91.36％）、「怒っている」（90.50％）、「悲しい」（91.51％）、「中立」（89.15％）の検出に適しています。結果を心拍数なしの結果と比較すると、心拍数はそれぞれ5.00％、6.50％、7.55％、10.00％、2.71％増加し、心拍数の導入により精度が向上することが証明されました。しかし、恐怖の正解率はまだ他の感情よりはるかに低いです。これは、顔の特徴と心拍数の特徴の組み合わせが恐怖をうまく区別できないことを示しています。これは、恐怖下の心拍数の特性が他の感情とあまり変わらず、顔の特徴がモデルに恐怖をうまく区別させるのに十分ではないためである可能性があります。
表5に示すように、私たちの方法は方法[6]および方法[9]よりも優れています。この方法[9]は、「幸せ」、「悲しい」、「中立」の精度のみを評価することに注意してください。怒りと恐れの正確さはここでは当てはまりません。最後に、全体的な比較を図9に示します。
3）伝送効率：
実験のこの部分では、提案されたCBLNNメソッドの応答速度をテストする必要があります。応答プロセスには、ビデオストリームを処理センターに送信し、処理センターがドライバーの感情認識を完了した後、コマンドセンターと車両にフィードバックすることが含まれます。車両の伝送距離Rが500mで、車速が100 km / hで一定であるとすると、1920×1080（ビットレート約8 Mbps）のビデオストリーム接続の途切れのない安定したリアルタイム伝送分解能は1.2Gbpsの速度に達することができます。応答時間は100ミリ秒未満で、そのほとんどはデータ処理とリアルタイムの感情認識に使用されます。
セブン。ディスカッション
実験では、幸福、悲しみ、怒り、中立の結果は受け入れられますが、恐れの結果は不十分です。同時に、比較分析により、心拍数の導入により実際に精度が向上することがわかります。恐怖の精度が低いのは、他の2つの要因も原因であると考えられます。収集されたデータが不十分である、恐怖の持続時間が短い（通常は突然の道路状況が原因）ために検出が困難である、データセット内の恐怖の顔の幾何学的形状が非常に明確な。表3に示すように、かなりの数の恐怖サンプルが中立と見なされます。
精度をさらに向上させるために、視線方向の推定、ドライバーの焦点の評価、音声機能の統合など、他の機能を統合する予定です。今後の作業では、シミュレートされた環境を現実のものにするために最善を尽くします。私たちの実験では、ボランティアが予期しない状況に直面した場合、動きの範囲が広くなり、振動の影響もあります。しかし、この実験では、これらのサンプルは無視されました
8.結論
本稿では、顔の特徴と心拍数に基づく新しいドライバーの感情認識方法を提案します。CBLNNはCNNを使用して顔の形状を分析し、CNNを介して取得した顔の特徴をBi-LSTMの入力として使用します。その目的は、Bi-LSTMによる心拍数データの分析に参加することです。CBLNNは、MFBを使用して、抽出された特徴を融合し、分類を実行します。実験の部分では、推定心拍数を追加することで、輝度情報の不足を補い、精度を向上できることを証明しました。実験結果は、この方法が人間の感情を迅速かつ安定して知覚できることを示しています。
語彙フレーズ
データ収集装置
一般化能力
心電図（ECG）
筋電図（EMG）
戦場監視システム
計算タスクのスケジューリング計算タスクのスケジューリング
差分画像計算差分画像計算
確率と統合学習（ PIL）ベースの分類アルゴリズム確率と統合学習（PIL）分類アルゴリズムに基づく
心拍変動（HRV）心拍変動（HRV）
は、
独立成分分析（ICA）独立成分分析（ICA）
関節近似に反比例します。固有行列の対角化（JADE） 、ジョイント近似特徴行列の対角化（JADE）
混合行列の逆行列の計算
前処理前処理;前処理（過去の緊張および前処理の過去）
横方向実験水平実験