基于关键帧的人形机器人面部表情模仿算法:面部关键帧检测与关键点检测,ResNet-50 的关键帧检测模型

人形机器人具有类人的外观和丰富的面部表情， 在情感交互中具有d特优势，广泛应用于护理和教育等 领域。然而，在当前机器人面部表情模仿过程中存在硬 件执行速度与数据处理速度不匹配的问题，导致表情动 作卡顿，影响表情模仿的流畅性与自然度。传统表情数 据降采样方法虽然在一定程度上缓解了该问题，但仍会 导致关键表情信息丢失，使模仿效果不自然。

为解决这一问题，本文提出了一种结合面部关键 帧检测与关键点检测的两阶段面部表情模仿策略，以 此提G人形机器人表情模仿的流畅性与自然度。

关键帧检测指从视频序列中选择Z能代表整个视 频内容的帧以实现视频压缩和冗余消除。关键帧检测 算法基于以下核心原则：先使用帧间差分技术比较连 续帧，使用像素值、色彩直方图、特征点等量化连续帧之 间的变化程度。然后利用均方误差和结构相似性指数 等相似度测量指标来评估帧之间的相似度，将具有Z小 相似度的帧识别为潜在的关键帧。根据这些相似度指 标应用各种选择策略，包括选择与前一个关键帧Z不相 似的帧或采用基于阈值的选择。利用对象检测和运动 分析等内容分析技术确保所选关键帧具有代表性和信 息量。Z后应用优化和过滤过程对关键帧选择进行细 化，确保Z终集合内的统一性、覆盖性和代表性。

在挑选出面部表情的关键帧后，采用面部关键点 检测算法来推断关键帧中人脸主要组成部分的几何信 息，包括眉毛、眼睛、鼻子和嘴巴等。本文所提人形机 器人面部表情模仿策略对所使用的面部关键点检测方 法没有特定要求。PFLD(A Practical Facial Landmark Detector)[13 、Mediapipe¹4 、TSR(Face Alignment with Two Stage Re-initialization)15 和 TCDCN(Tasks-Con- strained Deep Convolutional Network)16等主流的关键 点检测方法都可以集成到该框架中。虽然这些模型的 面部关键点检测数量不同，但所有关键点均具有高度 对称性，例如左右脸关键点对称、上下唇部关键点对 称。由于其具有较高的识别精度，本文择使用PFLD 模型进行面部关键点检测。

基于面部关键帧检测和面部关键点检测的两阶段表情模仿策略，在一定程度上解决了人形 机器人在表情模仿任务中出现的卡顿和抖动问题，使 表情模仿更加流畅自然。先，设计了基于ResNet-50 的关键帧检测模型，并结合多尺度光流特征能够迅速 捕捉细微的面部表情变化，识别序列中的关键表情帧。 其次，使用现有面部关键点检测算法对选定关键帧进 行分析，提取人形机器人需要模仿的面部表情数据。 实验结果验证了所提策略的有效性。相较于传统方 法，本文策略显著提升了表情模仿的准确性和自然性， 为人形机器人表情模仿提供了创新的解决方案。未来 将进一步优化算法性能，扩展适用场景，以提升人形机 器人与人类之间的情感交互与沟通效果，并探索该策 略在其他领域的应用潜力。

附件：基于关键帧的人形机器人面部表情模仿算法:面部关键帧检测与关键点检测,ResNet-50 的关键帧检测模型