机器人辅助穿衣过程中用户上肢运动实时追踪方法

1、论文背景 
机器人可以为残疾人或老年人的日常生活提供极大帮助，比如说机器人辅助穿衣。然而穿衣过程中，用户上肢的突然动作可能导致穿衣任务的失败，甚至为用户带来危险。使用视觉传感器实时追踪用户上肢运动（user posture tracking）非常困难，因为衣服和机器人都对用户造成了遮挡。例如，使用开源骨骼追踪框架（OpenNI Skeleton Tracker [1]）和深度学习方法OpenPose [2]，均无法实施准确的追踪用户上肢运动。

为了解决上述问题，我们提出了一种多传感器信息融合的人体骨骼实时追踪方法。本文研究主要包括以下三点：第一，我们通过高斯隐变量模型（Gaussian Process Latent VariableModel，GP-LVM），将运动上肢的高维运动映射至低维度的隐变量空间中（latent space）。该空间可以针对不同用户的不同上肢残疾特点，建立个性化用户辅助模型（personalized user model）。第二，我们在隐变量空间中使用贝叶斯网络（Bayesian networks），该网络融合了机器人和用户之间力的信息，以及机器人末端位置信息，进而实时追踪人体上肢运动。第三，我们使用层级多任务控制（hierarchical multi-task control)，使机器人既可以基于力的信息自动改变运动轨迹从而保证用户安全，又可以完成穿衣任务。

图1 Baxter机器人辅助残疾人穿衣

2、系统概述
如图2所示，我们要求健康用户穿着绷带来模拟上肢残疾情况。我们将采集用户上肢随机运动的数据，将其映射至二维隐变量空间中建立个性化用户模型。在该二维空间中，我们采用基于概率的粒子滤波方法（particle filter），完成多传感器信息融合（机器人与用户间力的信息，机器人末端执行器位置信息），从而实现用户上肢运动的实时准确追踪。在我们之前的研究中 [3], 我们将机器人穿衣动作描述为两个层级任务：高层级任务即机器人根据力的信息调整运动轨迹，从而实时减小用户的受力情况，确保用户的舒适与安全；低层级任务即通过PD控制完成从瘦-肘-肩关键的穿衣轨迹，该轨迹由本文的用户上肢追踪方法实时更新。


图2 系统概括图

图3展示了完整的穿衣过程。当用户在穿衣过程抬起胳膊时，机器人也相应改变轨迹来减少受力情况，并实时运行至新的肘关节和肩关节位置。

图3 机器人穿衣过程

图4 展示了在低维隐变量空间内粒子滤波的过程。我们根据力和位置的信息为每个粒子赋予新权重，从而循环更新。图中颜色越浅代表权重越高。

图4 低维隐变量空间内粒子滤波

3、实验分析
本文首先对隐变量空间个性化用户模型进行分析，如图5所示。该模型有一下3个特点：第一，该模型可以描述不同用户的不同上肢残疾特点。图5里面不同颜色即代表不同残疾情况的运动空间；第二点，低维空间极大减小了粒子滤波的计算量；第三点，该个性化模型权衡了用户残疾上肢运动的可达性 (reachability) 和用户偏好（preference）。

本文还进行了一些列对比试验，其中包括了与只用视觉方法追踪的误差比较，如图6所示。本文所提出的方法产生了3.3cm的误差，是视觉追踪误差的六分之一。

本文在20名用户上完成了相关实验测试。每个用户进行50次试验并模拟不同的残疾类型，如图7所示。

4、分析与结论 
本文提出了一种利用多传感器信息在低维隐变量空间中实时追踪用户运动的方法。该方法为在物理人机交互（physical human-robot interaction）中，当人体运动被严重遮挡而无法用单一视觉信息完成追踪的问题，提供了一种解决方案。

参考文献：
[1] http://wiki.ros.org/openni_tracker
[2] Cao, Zhe, et al. "Realtimemulti-person 2d pose estimation using part affinity fields." Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition. 2017                         
[3] Zhang, Fan, Antoine Cully, andYiannis Demiris. "Personalized robot-assisted dressing using user modelingin latent spaces." 2017 IEEE/RSJ International Conference on IntelligentRobots and Systems (IROS). IEEE, 2017.