大模型与机器人本体结合提供感知交互新能力,助力形成决策

机器人的技术创新任务主要在于人形机器人关键技术的突破，其中在人形机机器人本体上的重要技术任务在于开发基于人工智能大模型的人形机器人“大脑”与 开发控制人形机器人运动的“小脑”。大模型作为爆火的人工智能概念，推动了人形机器人大脑的形成，助力人形机器人具有人的感知、交互与决策能力；对 于控制系统仍在切入中。

感知、交互与决策

多模态大模型增强人机交互，实现 对人类意图的理解，对复杂外部环 境的理解与认知，助力形成决策：

大模型可直接用于对环境的理解, 并通过提示词使之输出结构化内 容如控制代码、任务分解等指令

利用多模态大模型对环境进行建 模, 实现具身智能对空间信息的 多模态理解

机器人能够从数据中学习决策与 规划策略，基础模型为机器人决 策与规划引入了丰富的先验知识。

控制

大模型在控制上的助力主要集中于大模型处理环境观察与提示，输出动作序 列，动作序列可以是一系列关节角度或末端执行器的位姿与夹爪开合数据， 这些序列将直接用于控制机器人的运动。