机器人的大脑—具身智能，生成运动姿态，实现更高级的决策能力

2024 年人形机器人最具突破性的进展主要体现在具身智能领域：3 月，Covariant 发 布端到端具身大模型 RFM-1，具身智能创业团队 Sergey Levine 和 Chelsea Finn 创 立 Pi（Physical Intelligence），Figure AI 发布接入 OpenAI GPT-4V 的 Figure 01 demo。4 月，李飞飞创立 World Labs，致力于解决 AI 在三维空间感知和理解方面的 难题。5 月，特斯拉发布视频，展示 Optimus 精准分拣特斯拉电动车 4680 电池的场 景，使用完全端到端神经网络，只利用 2D 摄像头视频和机载自传感器，直接生成关 节控制序列，完全靠视觉辅助和人类示范进行训练。国内人形机器人产业硬件供应链 优势明显，在具身智能、数据采集、人才领域的短板需要补齐。

分层端到端是目前具身智能的主要路径。大模型分为非具身大模型（基础大模型）、 具身智能大模型（机器人大模型），区别是能否生成运动姿态。非具身大模型如 GPT、 Sora 等，输入和输出的模态都是语言、图片和视频。具身智能大模型输入视觉、语 言信号，输出三维物理世界的操作，其中，端到端的具身大模型对数据和算力要求高， 如 Tesla FSD、谷歌 RT 模型；Figure AI 等大多数公司都采取了分层端到端的具身 大模型，一般分为三层：基础大模型（LLM 或 VLM）、决策大模型、操作大模型，其中 决策大模型以 ChatGPT for Robotics、谷歌 PaLM-E 为代表，技术方向从 LLM 向强 化学习（RL）演进，基于 RL 的范式可以使模型能够在不同环境和任务中学习和适应， 实现更高级的决策能力。操作大模型根据决策大模型的输出执行具体动作，需要与机器人硬件深度集成，且必须通过数据采集来实现，技术方向从“MPC+WBC”向“RL+仿 真”演进，MPC 更适合具有精确模型和短期优化目标的场景，RL 更适用于不确定性 高、需要长期学习和自适应的环境。在操作大模型领域，大多数厂商都刚起步。

数据采集的主要方式：远程操作、仿真合成数据。互联网上各类文本、图像和视频数 据集庞大，机器人的场景和交互有价值的数据量小，限制了 AI 模型在人形机器人上 的泛化能力。特斯拉 Tesla Bot 开发团队使用人类的真实运动方式来训练机器人，英 伟达推出 MimicGen 和 Robocasa 模型，通过真人的遥操作数据捕获，再通过生成合成运动数据和模拟环境，加速机器人技术的研发和应用。国内人形机器人创新中心加速建设人形机器人训练场。

具身智能估值逻辑：硬件、数据、模型、人才。硬件是一切的基础，如果没有自己的 硬件，就无法根据算法和数据进行硬件的快速优化和修改。涉及数据的采集、组织管 理以及与模型的闭环开发，需要有强大组织能力的团队，核心团队需要具备组织大规模工程师的经验；越来越多的算法陆续开源，开源算法可以提供基础的功能和技术， 但要实现高质量、高性能的人形机器人，需要专业的算法团队进行深入研究和开发。

附件：机器人的大脑—具身智能，生成运动姿态，实现更高级的决策能力