1、论文背景
机器人可以为残疾人或老年人的日常生活提供极大帮助,比如说机器人辅助穿衣。然而穿衣过程中,用户上肢的突然动作可能导致穿衣任务的失败,甚至为用户带来危险。使用视觉传感器实时追踪用户上肢运动(user posture tracking)非常困难,因为衣服和机器人都对用户造成了遮挡。例如,使用开源骨骼追踪框架(OpenNI Skeleton Tracker [1])和深度学习方法OpenPose [2],均无法实施准确的追踪用户上肢运动。
为了解决上述问题,我们提出了一种多传感器信息融合的人体骨骼实时追踪方法。本文研究主要包括以下三点:第一,我们通过高斯隐变量模型(Gaussian Process Latent VariableModel,GP-LVM),将运动上肢的高维运动映射至低维度的隐变量空间中(latent space)。该空间可以针对不同用户的不同上肢残疾特点,建立个性化用户辅助模型(personalized user model)。第二,我们在隐变量空间中使用贝叶斯网络(Bayesian networks),该网络融合了机器人和用户之间力的信息,以及机器人末端位置信息,进而实时追踪人体上肢运动。第三,我们使用层级多任务控制(hierarchical multi-task control),使机器人既可以基于力的信息自动改变运动轨迹从而保证用户安全,又可以完成穿衣任务。
图1 Baxter机器人辅助残疾人穿衣
2、系统概述
如图2所示,我们要求健康用户穿着绷带来模拟上肢残疾情况。我们将采集用户上肢随机运动的数据,将其映射至二维隐变量空间中建立个性化用户模型。在该二维空间中,我们采用基于概率的粒子滤波方法(particle filter),完成多传感器信息融合(机器人与用户间力的信息,机器人末端执行器位置信息),从而实现用户上肢运动的实时准确追踪。在我们之前的研究中 [3], 我们将机器人穿衣动作描述为两个层级任务:高层级任务即机器人根据力的信息调整运动轨迹,从而实时减小用户的受力情况,确保用户的舒适与安全;低层级任务即通过PD控制完成从瘦-肘-肩关键的穿衣轨迹,该轨迹由本文的用户上肢追踪方法实时更新。
图2 系统概括图
图3展示了完整的穿衣过程。当用户在穿衣过程抬起胳膊时,机器人也相应改变轨迹来减少受力情况,并实时运行至新的肘关节和肩关节位置。
图3 机器人穿衣过程
图4 展示了在低维隐变量空间内粒子滤波的过程。我们根据力和位置的信息为每个粒子赋予新权重,从而循环更新。图中颜色越浅代表权重越高。
图4 低维隐变量空间内粒子滤波
3、实验分析
本文首先对隐变量空间个性化用户模型进行分析,如图5所示。该模型有一下3个特点:第一,该模型可以描述不同用户的不同上肢残疾特点。图5里面不同颜色即代表不同残疾情况的运动空间;第二点,低维空间极大减小了粒子滤波的计算量;第三点,该个性化模型权衡了用户残疾上肢运动的可达性 (reachability) 和用户偏好(preference)。
本文还进行了一些列对比试验,其中包括了与只用视觉方法追踪的误差比较,如图6所示。本文所提出的方法产生了3.3cm的误差,是视觉追踪误差的六分之一。
本文在20名用户上完成了相关实验测试。每个用户进行50次试验并模拟不同的残疾类型,如图7所示。
4、分析与结论
本文提出了一种利用多传感器信息在低维隐变量空间中实时追踪用户运动的方法。该方法为在物理人机交互(physical human-robot interaction)中,当人体运动被严重遮挡而无法用单一视觉信息完成追踪的问题,提供了一种解决方案。
参考文献:
[1] http://wiki.ros.org/openni_tracker
[2] Cao, Zhe, et al. "Realtimemulti-person 2d pose estimation using part affinity fields." Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition. 2017
[3] Zhang, Fan, Antoine Cully, andYiannis Demiris. "Personalized robot-assisted dressing using user modelingin latent spaces." 2017 IEEE/RSJ International Conference on IntelligentRobots and Systems (IROS). IEEE, 2017.
在下肢外骨骼机器人的稳定性评估、步态规划和平衡控制中,人机系统质心是重要的参数之一
多台货箱到人机器人正在运行,携带着货箱轻巧敏捷地来回穿梭于存储区和工位之间,高速完成美妆产品的存拣作业。这是业内首个多层货箱到人机器人解决方案的落地应用,相较同等面积的人工仓,效率提升2.5倍。
基于计算机视觉的智能识别技术 和SLAM定位技术的引入,则实现了目标与用户的动态精准识别和交互。能够辅助课堂教学,提升远程教学和沟通效率,营造场景化教学新体验
配送机器人综合了SLAM、智能导航避障、多机调度、人机交互等人工智能技术,为餐厅、酒店、楼宇等广泛场景提供配送机器人解决方案,在高动态的商业环境下精确建图和定位,实现高效运行,降低企业成本
高精度机器人操控的五类方法:(1)基于传感信息的方法(2)基于柔顺机构的方法(3)基于环境约束的方法(4)基于感知约束集成的方法(5)仿生的方法
机器人商业落地案例YOGO ROBOT,YOGO与宝山区政府合作,打造机器人智慧楼宇集群。
新一代下肢康复外骨骼机器人自主研发,可以实现无拐杖辅助下平地行走、跨越障碍、转弯以及上下楼梯等场景,帮助穿戴者释放上肢负担,扩大运动范围、增加平衡性和安全性
国外外骨骼机器人的研究早于国内,商业化水平也高,我国是继美国、以色列和日本之后,第四个成功研发外骨骼机器人的国家
机器人遥操作已广泛应用在医疗领域、极端环境探索如太空与深海场景、防恐防爆应用场景,及基于工业机械臂的自动化生产中
新冠病毒凸显了机器人在与传染病对抗中的重要作用,机器人不会感染传染病
一种基于卷积神经网络的综合触觉识别框架,可以利用对象的语义属性描述和触觉数据的融合来实现对新对象的识别
触觉实现的各个环节中:触觉机理复杂、触觉数据难以获取、触觉系统真再现实度低、触觉应用数量少