一种基于层次强化学习的机械手鲁棒操作

机械手内操作（in-hand manipulation）是指使用单只机械手，通过移动手指、手掌等部位来改变物体在手中的相对位置和姿态。这种能力对于机器人实现人类水平的灵巧操作极为重要，因为在日常生活中有很多类似的任务，例如抓取一件工具并调整它在手中的位置和旋转角度。我们注意到，在实现复杂的操作目标时，人在操作物体时常常改变抓取物体的手指接触点位置，从而极大的提高物体在手中的位姿范围。

传统上，手内操作有两类解决方案，一类是基于模型的方法（model-based method），通过对抓取的动力学建模，来控制手指移动带动物体姿态。这种办法好处在于稳定性强，模型简单，但问题在于难以实现较长和复杂的手内操作流程，特别是目标位姿和起始位姿相距很远的情况，因为它们很难规划手指接触点的移动；另一类方法是无模型方法（model-free method），通常使用深度强化学习的方法。这类方法优点在于不需要系统模型，但缺点在于稳定性差，并且需要大量数据进行训练。而我们的方法结合了这两种方法：在底层使用传统的动力学建模方式保持稳定的抓取和实现简单基本的操作单元，在中层通过深度强化学习来进行规划，选择不同的操作单元，最终实现稳定且复杂的操作流程。我们的方法结合了两种方法的优点：在底层通过使用基于模型的操作单元，保证了手指与物体之间持续稳定的抓取；在中层使用强化学习进行规划，从而实现较长和复杂的手内操作流程。

2.  研究方法

在底层，我们使用柔性力矩控制器定义了三个操作单元，分别是reposing，sliding和flipping。Reposing是指在不改变手指与物体接触点的前提下，通过控制机械手改变物体的位姿；sliding是指在不改变物体位姿的前提下，沿着物体滑动指尖改变接触点；flipping是指将指头从一侧移动到另一侧，从而改变抓握方式。在中层，我们使用深度强化学习网络学习在给定目标位姿下选择底层操作单元，最终形成一条由大量不同操作单元组成的序列，实现复杂的操作目标。