まず、基本的な情報
标题：「人-後ロボットのCNNトラッカーとステレオビジョンを統合
バオ」
時間：2017
出版源：コンピュータサイエンスの講義ノート（サブシリーズを含むが、バイオインフォマティクスにおける人工知能での注意事項や講義ノート講演）
紙のフィールド：CNNトラッカー、ロボット、追跡、ステレオビジョン以下の人
キーリンク：
ホームページ：なし
arXivの（紙）：なし
githubの：なし
第二に、研究の背景
跟随机器人的人有很多应用，比如杂货店里的自动推车[26]，医院里的个人向导，或者机场里的自动手提箱[1]。动态环境下跟随机器人的人需要解决不同挑战性情况下的跟踪问题(外观变化、光照变化、遮挡、蹲姿、换衣等姿势变化)。利用在线卷积神经网络(CNN)对不同情况下的给定目标进行跟踪。被跟踪的目标可能会在拐角处移动，使其从机器人的视野中消失。我们通过计算目标最近的姿态来解决这个问题，当目标在当前帧中不可见时，让机器人复制目标的本地路径。正在使用的机器人是一个配备了立体声摄像机的先锋3AT机器人。我们用两台立体声摄像机测试了我们的方法，分别是Point Grey bumblebee21和ZED立体声摄像机。
第三に、技術革新
3.1概要
（20FPS約）リアルタイムトレーニングCNN（1）RGB画像とロボットアプリケーション追跡三次元の奥行き画像追跡人使用して
も人々を追跡することができ、カメラの視野内に一時的不在の場合、ロボットの推定及びローカルパスコピー先の（2）ロボットのトラッキング動作
（3）タスクを追跡する要員のための新規のボリュームデータセット。
3.2詳細な方法
ここでは、CNNは、提案されたモデルと学習プロセスを説明しました。RGB入力チャンネルCNNはRGBSD（RGB-ステレオ深さ）と呼ばれる、立体画像の深さから計算されます。立体的な深さ（SD）は、ZED SDK3を用いて計算されます。CNNトラッカ出力目標深さと質量の中心。ロボットナビゲーションモジュール重心深度を使用して、ターゲットを追跡し、必要に応じてパスをコピーします。
RGBSD画像と3.2.1CNNモデル
-
単層RGBSD画像として使用された最初のモデル（CNN V1が）ConvNetが供給されます。同様に、従来のCNNアーキテクチャに、畳み込み層を含むネットワークは、完全に接続された層と出力層（図1を参照します）。
-
入力ストリームがRGBチャンネル2つの畳み込みストリームを使用して第2のモデル（CNNのV2）は、他の入力ストリーム（図1参照）、立体奥行き画像です。完全に接続された層において、2つの平坦なコンボリューション出力の組み合わせから入力ストリーム。
-
第ConvNet（CNN V3は）CNNの従来のRGB画像に基づいています。その構造は、最初のモデルに似ています。私たちは、今、私たちは、初期化の方法および更新CNNトラッカーを記述する。
最初のトレーニングセットの選択：人物を追跡するために、CNNモデルを使用するには、我々はCNN分類器を初期化する必要があります。ランダムな重みの初期化は、ゼロから始めています。
（1）最初のフレームの中央に事前定義された矩形のバウンディングボックスを配置します。誰かがロボットに囲まれたボックスからある程度の距離を立って、または手動で追跡する対象を選択することができなければなりません行動を追跡するために、ロボットを有効にするには。（2）一旦活性化CNN、パッチの境界ボックスは、クラス1としてラベル付けされます。フェイスシートの周りのバウンディングボックスは、クラス0としてマークされています。
（3）これは非常にアンバランスな二つのクラスであるので、我々はトレーニングセットを形成するために、クラス0とクラス1つのレプリケーション・パッチn回からn個統一パッチを選択してください（私たちの実験では、N = 40）。それはトレーニングセットに高い精度を持ってまで、分類器CNNを訓練するためのこの最初のトレーニングセット。これは、トレーニングセットを超えた分級を行うことができます。この強力な過剰適合に対処するために、我々は目標姿勢と（2-3秒程度）インナー50の外観はフロントが大幅に変更されないことを前提としています。
テストセットの選択：CNN分類器が初期化または更新されると、我々は次のフレームでターゲットを検出するためにそれを使用。新しいフレームが立体深度層と同時に利用可能である場合、図2に示すように、我々は、局所画像領域テストパッチを検索（）は、図1に示します。図に示すように、我々はまた、空間の深さの制限を検索します。2（B）を。画像パッチ以前の深さでない深さ±α場合、我々はそれらを見つけることができませんでした（図2©）、[アルファ]は深さ方向の探索領域（ここではα= 0.25メートル使用）です。そうすることによって、背景に属するパッチのほとんどは、CNNの分類器の前にフィルタリングするために渡されます。クラス-1上の唯一の最高の応答は、現在のフレームの対象とさせていただきます。ターゲットは0.5秒後（例えば、最高の応答クラス1 <0.5）が検出されない場合、それがターゲット失わモードに入ります。次に、テスト・セットを作成するために、画像全体をスキャンします。
更新分類器は、新しいトレーニングセットを選択する必要があります。テストセット内のターゲットを見つけるステップを検出した場合にのみ更新ステップ（段階1）。セルが形成されたパッチはFIFOキューとして実装される前に、堅牢性、直近の50レベル1レベル1予約のパッチを維持するために。ターゲットクラス-0パッチプールの周りに形成するパッチ。この新しいトレーニングセットでは、我々は再び均等でクラス0パッチプールからn個のパッチを選択しました。Nは、我々のサンプルパッチとλ= 1.0、K = bqueueインデックス10 C（式1及び図3参照）に基づいて、レベル1からセルパッチパッチ、ポアソン分布に選択されます。これは、最近の歴史からパッチを選択するのではなく、古いパッチを選択する確率が高くなります。更新分類器のためのトレーニングセット。パッチポアソンがオーバーフィッティングを避けるために、サンプリング-1クラスベース、および前のフレームを回復するためのエラー検出のための機会を提供します。
ロボットの3.2.2ナビゲーション
2例があります：
（I）、画像（男）内のオブジェクト、比例積分微分（PID）コントローラの使用を見ることができるロボット
（ⅱ）ロボットがターゲット、コピーのターゲットパスを見ることができないとき。
位置決め：ロボットの位置決めは、グローバル座標系に基づいて、ロボットの姿勢を推定する必要があります。X、Y座標および方向であり、2Dの場合に、θはロボット。動的な障害に直面してロボットは、ポーズの独自の推定値を維持する必要があります。
第四に、実験結果
V.結論と思考
5.1著者は結論します
改善のための5.2録音作品のハイライト、などの分野：腕章を追跡することしかできません
参照
- アルベス・オリベイラ、P.、パイヴァ、A：ロボットスーツケースの信頼に関する研究。中：SO-
CIALロボティクス：第8回国際会議、ICSR 2016、カンザスシティ、MO、USA、
11月1-3、2016の議事。巻。9979、P。179スプリンガー（2016） - 粟井、M.、清水、T.、金子、T.、山下、A.、浅間、H .:豚ベースパー
息子以下と移動ロボットによって生成されたマップを使用して戻す自律
カメラとレーザレンジファインダを搭載しました。中：インテリジェント自律システム
12、頁51-60。スプリンガー（2013） - Borenstein、J.、風水、L .: Umbmark：オドメトリ測定するためのベンチマークテスト
移動ロボットのエラーを。中：フォトニクスEast'95。PP。113-124。国際社会
光学とフォトニクスのための（1995） - Calisi、D.、Iocchi、L.、レオーネ、R：人外観モデルとを通じて、以下の
移動ロボットを使ったステレオビジョン。中：VISAPP（ロボットビジョンのワークショップ）。
PP。46-56（2007） - Camplani、M.、Hannuna、SL、Mirmehdi、M.、ダーメン、D.、Paiement、A.、タオ、L.、
深さBURGHARDT、T .:リアルタイムRGB-D追跡kernelised相関スケーリング
フィルタと閉塞処理を。中：イギリスマシンビジョン会議、スウォンジー、
英国、9月7-10、2015年BMVAプレス（2015） - 陳、BX、Sahdev、R.、Tsotsos、JK：人が選択したオンライン用いたロボットを、次の
ステレオカメラでADAブーストを。中：コンピュータとロボットビジョン（CR V）、2017年
第14回大会。PP。48-55。IEEE（2017） - 陳、Z.、バーチフィールド、ST：binocu-使って移動ロボットと、次の人
LAR機能ベースの追跡を。中：知能ロボットとシステム、2007年IROS 2007年
にIEEE / RSJ国際会議。頁815から820まで。IEEE（2007） - Chivil` O、G.、Mezzaro、F.、Sgorbissa、A.、ザッカリア、R .:フォローリーダー行動
オプティカルフロー最小化を介し。中：知能ロボットとシステム、2004年（IROS
2004）。議事。2004 IEEE / RSJ国際会議に。巻。4頁。3182- - IEEE（2004）
- Cosgun、A.、がflorencio、DA、クリステンセン、HI：自律人のために、以下の
テレプレゼンスロボット。中：ロボティクスとオートメーション（ICRA）、2013 IEEE Interna-
にTIONAL会議。頁。4335から4342まで。IEEE（2013） - Couprie、C.、Farabet、C.、Najman、L.、Lecun、Y .:屋内セマンティックセグメンテーション
奥行き情報を用いて。中：学習表現に関する国際会議
（ICLR2013）4月2013（2013） - Danelljan、M.、時間AGER、G.、カーン、F.、フェルスベルク、M .: RO-ための正確なスケール推定
バスト視覚追跡。中：イギリスマシンビジョン会議、ノッティンガム、Septem-
BER 1-5、2014年BMV Aプレス（2014） - ドーシー、G.、Jevtic、A.、Lucet、E.、エダン、Y .:適応人以下のアルゴリズム
深度画像及びマッピングに基づきます。中：PROC。ロボットのIROSワークショップの
動作計画（2012年） - アイテル、A.、Springenberg、JT、Spinello、L.、Riedmiller、M.、Burgard、W：マルチ
堅牢RGB-D物体認識のためのモーダル深い学習。中：知能ロボットと
システム（IROS）、2015 IEEE / RSJ国際会議。頁681から687まで。IEEE
（2015） - ファン、J.、徐、W.、ウー、Y.、ゴング、Y .:ヒトは畳み込みニューラル使用追跡
ネットワーク。ニューラルネットワーク21（10）上のIEEEトランザクション、1610年から1623年（2010年） - フエンテス・パチェコ、J.、ルイス・Ascencio、J.、オンマンチャRend'、JM：ビジュアルsimultane-
のOUの局在とマッピング：調査。人工知能レビュー43（1）、55から81
（2015） - ガオ、C.、チェン、F.、ゆう、JG、黄、R.は、使用、N：ロバスト視覚追跡を歌った
見本ベースの検出器。ビデオのための回路とシステムに関するIEEEトランザクション
・テクノロジー（2015） - ガオ、C.、市、H.、ゆう、JGは、CNNに基づいエルダトラッカのN .:増強は、歌っ
特徴と適応モデルの更新。センサ16（4）、545（2016） - Grabner、H.、Grabner、M.、ビショフ、H：オンライン後押しを経由してリアルタイムで追跡。中：
英国のマシンビジョン会議2006の議事録、エジンバラ。PP。47-56
（2006年の） - グプタ、S.、Girshick、R.、Arbel'のAEZ、P.、マリク、J .: RGB-Dからの豊富な機能を学習
オブジェクトの検出およびセグメンテーションのための画像。中：COM-に関する欧州会議
PUTERビジョン。PP。345-360。スプリンガー（2014） - ウサギ、S.、Golodetz、S.、Saffari、A.、Vineet、V.、チェン、MM、ヒックス、SL、トール、PH：
打た：カーネルで構成出力トラッキング。パターン上のIEEEトランザクション
分析および機械インテリジェンス38（10）、2096年から2109年（2016年） - 香港、S.、あなた、T.、クァク、S.、漢、B：オンライン追跡弁別学習によって
畳み込みニューラルネットワークとの顕著性マップを。中：ICML。頁597から606（2015） - 華、Y.、Alahari、K.、シュミット、C .:提案選択をオンライン物体追跡。
中：コンピュータビジョン（ICCV）上のIEEE国際会議（12月
- 神原、M.、大熊、T.、竹村、H.、横谷、N：立体映像see-
リアルタイムビジョンベースの登録に基づく拡張現実感システムを介し。中：
バーチャルリアリティ、2000議事。IEEE。PP。255-262。IEEE（2000） - Kobilarov、M.、Sukhatme、G.、Hyams、J.、バタビア、P .:人物追跡し、次の
全方位カメラとレーザーを用いて移動ロボットと。中：ロボティクスと
オートメーション、2006年ICRA 2006議事録2006 IEEE国際会議
に。PP。557-562。IEEE（2006） - 小出、K.、三浦、色、高さ、および使用して、特定の人物のJ .:同定
ロボット次の人のための歩行機能を。ロボティクスと自律システム84、
76-87（2016） - 西村、S.、伊藤、K.、菊池、T.、竹村、H.、溝口、H .:の研究
者の自律搬送系開発のための毎日の項目をrobotizing
のショッピングカートのロボット以下。で：コントロール、オートメーション、ロボティクス・ビジョン、2006年
ICARCV'06。第9回国際会議。頁1-6。IEEE（2006） - O'Dwyer、PIおよびPIDコントローラのチューニングルールのA：ハンドブック。世界の科学
（2009） - オロン、S.、バー-ヒレル、A.、レヴィ、D.、Avidanの、S .:ローカルORDERLESSトラッキング。Interna-
コンピュータビジョン111（2）、213-228（2015）のTIONALジャーナル - Sardari、F.、Moghaddam、ME：ハイブリッド閉塞フリーオブジェクト追跡方法
パーティクルフィルタと修飾銀河ベースの検索メタヒューリスティックアルゴリズムを使用。
応用ソフトコンピューティング50、280から299（2017） - 佐竹、J.、千葉、M.、三浦、J .:残り距離使用SIFTベースの個人識別
ロボットを次の人に依存外観モデル。中：ロボティクスと
バイオミメティックス（ROBIO）、2012 IEEE国際会議。頁962から967まで。IEEE
（2012） - シュレーゲル、C.、Jaberg、H.、シュスター、モバイルでのM：ビジョンに基づく人物追跡
ロボット。中：中PROC。英国のマシンビジョンコンファレンス。Citeseer（1998） - 統一ベンチマークと：歌、S.、シャオ、J .:トラッキングRGBDカメラ使用再訪
ベースライン。中：コンピュータビジョンのIEEE国際会議の議事録。
PP。233-240（2013） - 竹村、H.、伊藤、K.、溝口、H .:人変える下移動ロボットを以下の
距離および色情報に基づいて照明。中：ロボティクス・Biomimet-
ICS、上の2007年ROBIO 2007年IEEE国際会議。頁。1500年から1505年。IEEE
（2007） - Tarokh、M.、フェラーリ、P：ケーススタディ：ファジィ制御使用して、次のロボット人物
や画像分割を。フィールドロボティクス20（9）、557-568（2003）のジャーナル - ウー、Y.、リム、J.、ヤン、MH：物体追跡ベンチマーク。IEEEトランザクション
パターン解析及び機械知能37（9）、1834年から1848年（2015年） - 山根、T.、白井、Y.、三浦、J .:人物追跡オプティカルフローと統合することにより、
均一な輝度領域。中：ロボティクスとオートメーション、1998議事。1998年
にIEEE国際会議。巻。4頁。3267から3272まで。IEEE（1998） - 吉見、T.、西山、M.、Sonoura、T.、中本、H.、戸倉、S.、佐藤、H.、
次の人の尾崎、F.、Matsuhira、N.、溝口、H .:開発ロボット
ビジョンに基づく目標検出と。中：知能ロボットとシステム、2006年
にIEEE / RSJ国際会議。頁。5286から5291まで。IEEE（2006） - テキ、M.、Roshtkhari、MJ、森、G .:ための外観モデルの深い学習
オンライン物体追跡。arXivのプレプリントarXivの：1607.02568（2016） - 張、K.、チャン、L.、ヤン、MH：オンラインdiscrimina-を経由してリアルタイムの物体追跡
TIVE特徴選択。22（12）画像処理に関するIEEEトランザクション、4664から4677
（2013） - 張、L.、Suganthan、PN：畳み込みニューラルネットワークを持つ視覚追跡。中：
上のシステム、人間、およびサイバネティクス（SMC）、2015 IEEE国際会議。
頁。2072年から2077年。IEEE（2015） - 張、L.、Maatenデア・バンは、L：構造物の追跡を維持します。中：Proceed-
コンピュータビジョンとパターン認識に関するIEEE会議のイングス。頁1838-
1845年（2013年）
