迎宾机器人的大脑需要具备的能力：实时交互 多模态感知

目前迎宾机器人“大脑”技术以大模型为核心，为迎宾机器人提供 任务级交互、环境感知、任务规划和决策控制能力。在任务交互方面， 基于大模型的语言/视觉运行处理方式可为迎宾机器人提供任务级交 互入口。在环境感知方面，大模型通过对多模态信息的统一处理与灵 活转换，推动多模态感知泛化。在任务规划方面，大模型潜在的真实 世界知识学习能力、强大的思考、推理和生成能力为“大脑”的任务规 划提供基础。在决策控制方面，迎宾机器人基于大模型技术并优化奖 励策略，通过整合环境、运动等多样化信息，实现决策控制功能。

从功能需求角度出发，迎宾机器人的“大脑”需要具备以下能力：

1 实时交互能力

迎宾机器人需要具备与人类实时的任务级交互能力，快速理解人类通过语言、手势等方式给出的指令，并有效执行。
当出现指令理解不清或任务执行完毕后，可以与人类进行进一步的多 轮交互。

2 多模态感知能力

为了在复杂环境中做出正确决策，迎宾机器人需要能够通过视觉、听觉、触觉等多种感官获取信息。大模型需要整 合这些多模态感知数据，以实现对环境的全面理解。

3 自主可靠决策能力

迎宾机器人在执行任务时，需要能够理解任 务的复杂性，并将其分解为一系列可执行的子任务。这要求大模型具 备强大的语言理解能力和对物理世界的深刻理解。例如，机器人可能 需要理解“清理房间”这一任务，包括识别哪些物品需要移动，哪些需 要丢弃。

4 涌现和泛化能力

除了在训练数据上的表现，大模型还应具备超 出训练范围的执行能力。具体表现为迎宾机器人能够在未见过的新环 境中执行任务，适应新的、未知的情况。面对新挑战时，展现出创新 性的解决方案。