用紙情報

タイトル: 群衆とロボットのインタラクション: アテンションベースの深層強化学習による群衆認識ロボットナビゲーション
著者: Changan Chen、Y uejiang Liu
コードアドレス: https://github.com/vita-epfl/CrowdNav
ソース: arXiv
時間: 2019

抽象的な

混雑した空間で動作するロボットにとって、効率的かつ社会規範に準拠した方法で移動することは重要ですが、困難な作業です。最近の研究では、社会協力政策を学習するための深層強化学習技術の威力が示されています。しかし、人口が増加するにつれて、人々は通常、問題を人間とコンピュータの一方向の相互作用の問題に緩和してしまうため、協力する能力は低下します。この研究では、人間とロボットの一次相互作用を超えて、群衆とロボットの相互作用 (CRI) をより明示的にモデル化したいと考えています。

私たちは、
(i) 自己注意メカニズムを備えたペアごとの相互作用を再考し、
(ii) 深層強化学習フレームワークで人間とロボットおよび人間と人間の相互作用を共同でモデル化することを提案します。私たちのモデルは、密集した群衆の中で起こる人間と人間の相互作用を捉えており、これはロボットの期待される能力に間接的に影響を与えます。

導入

社会的エチケットをうまくこなすのは難しい仕事です。

エージェント（人間など）間のコミュニケーションはそれほど広範囲ではないため、ロボットは複雑な相互作用（反発力/吸引力など）を伴う可能性のある群衆の進化を感知して予測する必要があります。軌道予測に関する研究では、エージェント間の相互作用をモデル化するためのいくつかの手動またはデータ駆動型のアプローチが提案されています [12]–[15]。ただし、これらの予測モデルを意思決定プロセスに統合することは依然として困難です。

代わりに、強化学習フレームワークを使用して、エージェント間の対話と協力を暗黙的にエンコードする計算効率の高いポリシーをトレーニングしています。最近の研究 [19]-[22] の大幅な進歩にも関わらず、既存のモデルは次の 2 つの側面によって依然として制限されています。 i)
集団の集団的影響は、通常、max-min 演算子などのペアごとの相互作用の単純化された集計によってモデル化されます [19] ] または LSTM [22] は、すべてのインタラクションを完全には表現できない可能性があります;
ii) ほとんどの方法は、人間とロボットの間の一方向のインタラクションに焦点を当てていますが、ロボットに間接的に影響を与える可能性のある群衆内のインタラクションは無視しています。これらの制限により、複雑で混雑したシナリオにおける共同計画のパフォーマンスが低下します。
ここに画像の説明を挿入

背景

問題の形成

ロボットが n 人の群衆の中をゴールに向かって移動するナビゲーションタスクを考えます。これは、強化学習フレームワークにおける逐次決定問題として定式化できます [19]、[20]、[22]。
各エージェント (ロボットまたは人間) の位置 $p = [p_x, p_y]$ 、速度 $v = [v_x,v_y]$ と半径 $r は$ 他のエージェントによって監視できます。ロボットは、目標位置 $p_g$ および優先速度 $v_{pref}$ 。ロボットの速度 $v_tを仮定します。$ $a_t の$ アクションコマンドで使用できます。 $ある$ その直後、 $v_t = a_t$ 。さあ、し $s$ ロボットの状態を表します。 $w_t = [w^1_t ,w^2_t , . .. ,w^n_t]$ ということは、当時の人間は $t$ の状態。ロボットナビゲーションの関節状態は $s^{jn}_t = [s_t,w_t]$ 。
ここに画像の説明を挿入

[19]、[20] で定義された報酬関数の定式化に従い、衝突や不快な距離にペナルティを与えながらタスクの達成に報酬を与えます。
ここに画像の説明を挿入

バリューネットワークトレーニング

価値ネットワークは、時間差法、標準的な経験再生、および固定目的ネットワーク技術によってトレーニングされます [19]、[35]。アルゴリズム 1 で説明したように、モデルはまず一連のデモンストレーターの経験を使用した模倣学習によって初期化され (1 ～ 3 行目)、次にインタラクションの経験に基づいて改良されます (4 ～ 14 行目)。以前の研究 [19]、[20] との 1 つの違いは、7 行目の次の状態 S jn t+1 が、線形運動モデルで近似するのではなく、環境の真の値を問い合わせることによって取得され、システムダイナミクスが軽減されることです。問題のトレーニング。導入中、遷移確率は軌道予測モデル [12]、[13]、[15] によって近似できます。
ここに画像の説明を挿入

問題 (1) に効果的に対処するために、価値ネットワークモデルは、エージェント間の社会的協力を暗黙的にコード化する最適な価値関数 V* を正確に近似する必要があります。このトラックに関する以前の作業では、群衆のインタラクションが完全にはモデル化されていなかったため、人口が密集したシーンの値推定の精度が低下していました。次のセクションでは、混雑した空間での移動方法を効率的に学習できる、新しい群衆とロボットの相互作用モデルを提案します。

アプローチ

人間が人口密度の高い場所を歩くとき、近くの隣人、特に将来の相互作用に参加する可能性のある隣人の行動を予測することで他の人と協力します。これは、相対的な重要性を計算し、社会に準拠したナビゲーションのために近隣エージェントの集合的な影響をエンコードできるモデルを設計する動機になります。ソーシャルプーリング [13]、[15] およびアテンションモデル [14]、[44]–[48] に触発されて、3 つのモジュールで構成されるソーシャルアテンションネットワークを導入します。インタラクションモジュール: 人間とコンピューターの相互作用を明示的にモデル化し、人間のインタラクションをエンコードします
。粗粒度のローカルマップを介したコンピュータインタラクション。
• プーリングモジュール: セルフアテンションメカニズムを通じて、インタラクションを固定長の埋め込みベクトルに集約します。
• 計画モジュール: ソーシャルナビゲーションのためのロボットと群衆の結合状態の価値を推定します。

ここに画像の説明を挿入

パラメータ化

[19]、[22] のロボット中心のパラメータ化に従います。ロボットは原点に位置し、X 軸はロボットの目標を指します。ロボットと歩行者の変形した状態は次のとおりです。
ここに画像の説明を挿入

インタラクションモジュール

各人はロボットに影響を与え、また隣人からも影響を受けます。人間間のすべてのインタラクションペアを明示的にモデル化すると、O(N2) の複雑さが生じます [14]。これは、高密度のシナリオで拡張するポリシーでは計算的に実行不可能です。私たちは、人間とコンピューターの相互作用の粗粒表現としてローカルマップを使用しながら、人間とコンピューターの相互作用を明示的にモデル化するペアワイズ相互作用モジュールを導入することで、この問題に対処します。
ここに画像の説明を挿入

サイズ L の近傍が与えられると、各人物 i を中心とするL × L × 3 マップテンソル $M$ 図 3 のローカルマップと呼ばれる、隣人の存在と速度をエンコードします。
ここに画像の説明を挿入
多層パーセプトロン (MLP) を使用して、人物 i の状態とマップテンソル $M_iを組み合わせます。$ とロボットの状態は固定長ベクトル $e_iに埋め込まれます。$ 中:

埋め込みベクトル $e_i$ は後続の MLP に供給され、ロボットと人間 i の間のペアごとのインタラクション特徴が取得されます。
ここに画像の説明を挿入

プーリングモジュール

周囲の人の数はシーンによって大きく異なる可能性があるため、任意の数の入力を固定サイズの出力に処理できるモデルが必要です。

Everett ら [22] は、人間のすべての状態をロボットからの距離の降順で LSTM に入力することを提案しています [49]。ただし、最近傍が最も強い影響を持つという基本的な仮定は、常に真実であるとは限りません。速度や方向などの他の要素も、近隣の重要性を正確に推定するために重要であり、その近隣がロボットの目標達成にどのような影響を与える可能性があるかを反映しています。シーケンス内の他のアイテムを見ることでシーケンス内のアイテムへの注意が得られるという自己注意メカニズムの最近の進歩を活用して、我々はソーシャルアテンションプーリングモジュールを提案します。それぞれの隣人の相対的な重要性と人口の全体的な影響についての理解が促進されます。

インタラクティブな埋め込み $e_i$ 注意スコア $α_iに変換$ 以下のように:各近傍 i のペアごと
ここに画像の説明を挿入
の相互作用ベクトル $h_iが与えられるとします。$ および対応する注意スコア $α_i$ 、群衆の最終的な表現は、すべてのペアの重み付き線形結合です。

計画モジュール

群集 c のコンパクトな表現に基づいて、協調計画の状態値 v を推定するための計画モジュールを構築します。
ここに画像の説明を挿入

実装の詳細

ローカルマップは各人物を中心とした4×4のマス目で、各マス目は1辺の長さ1mです。関数 $\phi_e( )、ψ_h( )、ψ_α( )、f_v( )$ はそれぞれ (150,100)、(100,50)、(100,100)、(150,100,100) です。

私たちはこの戦略を PyTorch [51] に実装し、Adam [52] を使用してバッチサイズ 100 でトレーニングしました。模倣学習では、ORCA を使用して 3,000 個のデモを収集し、学習率 0.01 で 50 エポックのポリシーをトレーニングしました。強化学習の場合、学習率は 0.001、割引係数 γ は 0.9 です。ε-greedy 戦略の探索率は、最初の 5k エピソードで 0.5 から 0.1 に直線的に減衰し、残りの 5k エピソードでは 0.1 のままです。RL トレーニングには、i7-8700 CPU で約 10 時間かかりました。

この作業では、ロボットが完全な運動学を備えている、つまり任意の方向に移動できることを前提としています。アクション空間は 80 個の離散アクションで構成されます。5 つの速度は (0, vpre f ] の間で指数関数的に分布し、16 の方向は [0, 2π) の間で均一に分布します。

実験