基于真实环境数据集的机器人操作仿真基准测试

基准测试和数据集对于研究和科学进步非常重要，通过竞技及可量化、可重复性结果推动关键研究领域进步。机器人操作目前缺乏在同等规模及重要领域被广泛接受的基准，例如计算机视觉中的同步定位和映射（SLAM）和目标检测。曾经提出的操作基准和挑战需要访问昂贵的平台和专门的环境（即FetchIt、Amazon Picking Challenge等），使用特有对象来评估系统的能力，限制了整个研究领域的发展。机器人操作方面研究在仿真环境中进行具备优势包括：（1）有助于获得可重复的结果，（2）允许访问潜在的不可用平台，（3）本质上是安全的，（4）不会磨损或损坏物理系统，并且（5）除了并行运行许多实例之外，还可以比实时运行更快。然而，物理模拟的不足也很明显，在仿真环境中生成的控制器在转移到现实世界时往往是不可靠的。现实差距的现象是众所周知的，但很少有人能量化这一差距。  

近期IEEE ROBOTICS AND AUTOMATION LETTERS发表了“Benchmarking simulated robotic manipulation through a real worlddataset”, 提出的基准和附属数据集旨在帮助研究人员和开发人员量化现实差距，特别是与机械臂的物理交互任务，从而推动仿真到现实（sim2real）的转换，以及物理引擎，模拟器和它们的参数化方面的进展。通过使用仿真和量化指标，使基准测试能够通用于许多操作领域，但又足够具体，能够提供系统的有关信息。他们的主要贡献包括：（1）开发了一个将仿真与真实世界记录进行比较的程序；（2）一个由机械手执行的地面真实标记操作任务的数据集，该操作任务使用高精度的运动捕捉系统进行记录；（3）在再现真实方面用于描述模拟器成功量的子集（图1）。作者们希望随着时间的推移来扩展这个数据集，以覆盖更多的任务，并应用于更多的机械手。

1、基准测试

操作基准由三个部分组成：运动捕捉任务的真实世界数据集；定义在选定的模拟环境中要模拟的任务；评估地面真实性和模拟解决方案之间性能的指标。

A.  任务

该基准目前由10个简单的任务组成，这些任务被选中是因为它们提供了基本运动和接触的良好初始起点。这些任务演示了如何使用基准并充当更高级任务的先驱。通过调整模拟器来精确地模拟简单的任务，推断这些相同的参数将扩展到共享底层关联的更复杂的场景。基准将被扩展到包括更高级的任务，这些任务与实际操作场景具有更高的相关性。表1列出了任务以及简短的描述以及它们包含的子组。

B、数据集

数据集是在CSIRO的Qualisys运动捕捉系统中收集的，将其作为实时高精度地面真实数据提交。该系统包括24个摄像头，安装在8×8×4米的龙门架上。校准为<1 mm的残余值，系统记录频率为100 Hz。系统的延迟取决于以下几个变量：标记数、摄像机数和计算机设置。数据从主机PC（接收延迟小于6毫秒的数据）流到运行机器人操作系统（ROS）的第三方PC。手臂配备有Robotiq FT300力扭矩传感器，安装在手臂手腕和夹持器之间，使用两个如图2所示的3D打印底座（底座的网格文件可以在基准网站上找到）。安装支架采用刚性和轻质的ABS塑料进行3D打印，这满足了作为系统最终环节的设计要求，包括重量小于1.2 kg的夹持器。在记录数据集之前，Robotiq FT300用Kinova夹具进行了校准。该数据集的目的是在未来通过一系列的机器人操作器完成额外的任务。基准测试的用户不必记录任务，目的是用户应用所提供的数据集对其模拟环境进行基准测试。

C、模拟器设置

要使用文中的基准测试系统对模拟器进行基准测试，必须遵循以下准则。任何未列为受控变量的参数都可以用来改进仿真。一般来说，场景、机器人和机器人的控制都设置为不可变，而大多数其他参数都是用户可定义的。文中的基准适用于任何模拟器。制造商统一机器人描述格式（URDF）与网格文件可以一起在基准的网站上下载，作为机器人机械手的描述。如果模拟器本身不支持URDF，则机器人可以按照URDF或制造商规范导入刚体网格，在选定的仿真环境中进行组装。

D、性能指标

没有一个指标能够客观地评估模拟器在所有任务中的性能，因此提出了一系列的指标。在推导合适的性能指标时，注意到平均一个具有相同起点和终点的对象的轨迹是可能的，特别是对于遵循相同控制轨迹的对象，如机械手。然而，对于具有不同末端姿态的物体，求其轨迹的平均值不是一个有效的计算方法，因此建议分析这些物体末端姿态的分布。由于在遵循物理原理的同时，由于从一个共同的开始姿势到结束姿势的过程中，可行方法是有限的，通过分析可操纵物体的末端结构，我们发现这是一个有效的度量标准。此外，还使用进一步的度量来表征这些对象的运动。

图3 二元正态分布概率密度函数的三维绘图

E、报告绩效

组合基准和数据集的网站旨在托管基准用户的结果。由于包含可操作对象的任务有23个度量（不包含对象的任务有15个度量），因此有太多的度量无法公开显示和比较，因此可能会使用错误。任务根据主题划分为多个子组，并报告子组的结果。子组的报告结果显示更具有针对性比完成所有任务和只报告单个任务更有效率。

2、模拟器性能示例及结论

文中应用了两个符合机器人性能的模拟器V-Rep和PyBullet。它们也是机器人领域常用的模拟器。运行此基线的代码可以在基准网站上找到。V-Rep有一系列物理引擎，可以通过抽象层应用，因此能够对以下模拟器和物理引擎组合进行基准测试。仿真机器人操作基准通过在仿真和地面真实数据集之间绘制度量来验证仿真环境。23个指标全面描述了现实差距造成的差异，并有助于对仿真环境的结果进行基准测试。该数据集提供了有价值的信息，包括6自由度姿态的运动捕捉、关节扭矩以及在机械手手腕处的力和力矩。同时比较了两种常用的机器人模拟器V-Rep和PyBullet在一般参数设置下的性能，基于度量分析了模拟器在完成数据集任务时的精度，证明了所选度量的实用性。