ロボット念動力

論文リンク: https://arxiv.org/abs/2202.10448
プロジェクトリンク: https://robotic-telekinesis.github.io/
論文単位: CMU

まとめ

• この論文では、誰でも自分の手で動きをデモンストレーションするだけでロボットの手や腕を制御できるシステムを構築しています。
• ロボットは1 台の RGB カメラを通して人間のオペレータを観察し、リアルタイムでオペレータの動きを模倣します。
• 人間の手とロボットの手は形状、サイズ、関節構造が異なるため、キャリブレーションされていないカメラからこの変換を実行することは、非常に制約のない問題です。さらに、再配置された軌道は物理ロボット上でタスクを効率的に実行する必要があり、時間内にスムーズで自己衝突がないことが必要です。
• 私たちの重要な点は、人間と機械のペアの通信データの収集にはコストがかかる一方で、インターネットには人間の手の多種多様なビデオが大量に含まれているということです。
• 私たちはこのデータを活用して、人間の手を理解するシステムをトレーニングし、人間のビデオ ストリームをスムーズ、高速、安全で意味的にガイド付きデモンストレーションと同様のロボット アームの軌道に再ターゲットします。
• 私たちは、これまで訓練を受けていなかった人でも、さまざまな器用な操作タスクでロボットを遠隔制御できることを実証しました。
• 当社の低コスト、手袋不要、マーカー不要のリモート オペレーティング システムにより、ロボットの教育がよりアクセスしやすくなり、ロボットが現実世界で自律的に行​​動することを学習するのに役立つことを期待しています。

1 はじめに

• 人間の行動を模倣するロボットの構築は、何十年にもわたってロボット研究の中核的な要素でした。
• このパラダイムは遠隔操作/遠隔操作として知られており、歴史的には、核物質の取り扱いや爆発物の不活性化など、人間が実行するのが危険または不可能なタスクをロボットが実行できるようにするために使用されてきました。
• 最近では、遠隔操作を使用して、人間にとってデモンストレーションするのは簡単だがプログラムするのが難しいロボットのタスクを自動化しています。
• たとえば、産業用ロボットでは、遠隔操作を使用して単一の軌道 (ベルトコンベアから箱を持ち上げるなど) をデモンストレーションすることができ、ロボットはその軌道に過剰適応し、文字通りそれを何か月、または数年にわたって繰り返します。
• リモート操作は、大規模なデモンストレーション データ セットを収集する手段としても使用でき、そのデータ セットを使用して、未知の環境での新しいタスクに一般化できるポリシーを学習できます。
• この論文では、特に器用なロボットの遠隔操作の問題を研究します。現在、運動感覚制御、仮想現実、触覚グローブ、MoCap など、有望なテクノロジーが数多くありますが、それぞれに普遍的な採用を妨げるいくつかの欠点があります。これらのセットアップには、多くの場合、高価なハードウェアと特殊なエンジニアリング、専門のオペレーター、または発表者の手の自然な滑らかな動きを妨げる機器が必要になります。
• これらの欠点を克服するという課題は、制御されるロボットの複雑さに応じて指数関数的に増加します。多指症の手は、二指の手よりも遠隔操作がはるかに困難です。
• 最近の進歩にもかかわらず、高い自由度のために