论文链接：https://arxiv.org/abs/2202.10448
项目链接：https://robotic-telekinesis.github.io/
论文单位：CMU

摘要

论文建立了一个系统，使任何人都能控制机器人的手和手臂，只需用自己的手示范动作。
机器人通过一个单一的RGB摄像头观察人类操作员，并实时模仿他们的动作。
人的手和机器人的手在形状、大小和关节结构上都不同，从一个未校准的相机进行这种转换是一个高度缺乏约束的问题。此外，重新定位的轨迹必须有效地执行物理机器人上的任务，这就要求它们在时间上是平滑的，并且没有自我碰撞。
我们的关键观点是，虽然收集成对的人机通信数据非常昂贵，但互联网上包含大量丰富多样的人手视频。
我们利用这些数据来训练一个系统，该系统可以理解人类的手，并将人类视频流重新定位为机器人的手臂轨迹，该轨迹平滑、快速、安全，并且在语义上与指导演示相似。
我们证明,它使以前未经训练的人们在各种灵巧的操作任务上遥控机器人。
我们的低成本、无手套、无标记的远程操作系统使机器人教学更容易实现，我们希望它能帮助机器人在现实世界中学会自主行动。

1. 简介

几十年来，制造模仿人类行为的机器人一直是机器人研究的核心组成部分。
这种范式被称为遥操作/远程操作，历史上用于使机器人执行人类不安全或不可能执行的任务，例如处理核材料或停用爆炸物。
最近，远程操作已被用于使机器人自动化的任务，很容易为人类演示，但很难编程。
例如，在工业机器人中，远程操作可以用来演示一个单一的轨迹(例如，从传送带上捡起一个盒子)，机器人会过度适应这个轨迹，然后逐字重复几个月或几年。
远程操作也可以作为收集大型演示数据集的一种手段，然后可以用来学习一种策略，该策略可以推广到未知环境中的新任务。
本文专门研究了灵巧机器人的遥操作问题。虽然目前有许多很有前途的技术，如动觉控制（Kinesthetic Control)，虚拟现实设备（Virtual Reality），触觉手套（haptic gloves）和动作捕捉（MoCap），但每一种都有一些缺点，妨碍了它的普遍采用。这些设置通常涉及昂贵的硬件和专业的工程，专家操作人员，或阻碍演示者的手的自然流体运动的设备。
克服这些缺点的挑战随着要控制的机器人的复杂性呈指数增长。多指手远比双指手更难远程操作。
尽管最近取得了进展，但为高自由度