创泽机器人
CHUANGZE ROBOT
当前位置:首页 > > 迎宾机器人 > 展厅迎宾机器人小脑技术的演进:视觉-语言模型进行模仿学习

展厅迎宾机器人小脑技术的演进:视觉-语言模型进行模仿学习

来源:中国信息通信研究院     编辑:创泽   时间:2025/1/3   主题:其他 [加盟]

传统的机器人控制方法依赖于精确的动力学模型和专家知识,难以适应非结构化环境的不确定性和复杂性。近年来,学习型控制的发 展使得机器人能够从数据中学习控制策略,但其泛化能力和鲁棒性仍 难以满足复杂场景需求。大模型为机器人控制引入了丰富的先验知识 和泛化能力,有望进一步突破传统控制方法的局限性。整体上看,目前展厅迎宾机器人的“小脑”核心技术正在从基于模型的控制方法向基于学习的控制方法演进。

在强化学习领域,大模型为引入先验知识和提高样本效率提供了 新的思路。以 LanguagePlan 为例,该模型利用 GPT-3 根据任务描述 生成抽象的行动计划,如“先走到门口,然后打开门,再走出房间”。 然后,LanguagePlan 将该行动计划嵌入到状态空间中,作为额外的观 察信息,用于训练一个分层强化学习智能体。实验表明,LanguagePlan 能够显著提高样本效率和泛化性能,加速复杂任务的学习。类似地,LOFT、T-EBM 等模型也展示了利用语言模型引导策略学习的能力。

在模仿学习方面,视觉-语言模型为机器人学习复杂技能提供了新的范式。以 CLIP-ASAP 为例,该模型首先利用 CLIP 将视频帧编 码为语义特征,然后通过因果语言建模学习动作与视觉变化之间的关 系。在控制阶段,CLIP-ASAP 根据语言指令和当前视觉观察,预测下 一时刻的关键帧,并将其传递给低层控制器执行。实验表明,CLIPASAP 能够学习复杂的长期技能,如烹饪、家政等,且具有很强的泛化能力,能够根据不同的指令组合技能。类似地,R3M、Pix2R 等模 型也展示了利用视觉-语言对齐进行模仿学习的能力。

尽管大模型在机器人控制中展现出了广阔的应用前景,但如何进 一步提高其实时性、鲁棒性和可解释性仍然是亟待解决的问题。此外, 如何将控制与感知、决策和规划更紧密地结合,构建端到端的自主系 统,也是未来的重要研究方向。







展厅迎宾讲解机器人的小脑技术路线:两种(基于模型、基于学习)

基于模型的小脑技术路线控制方法有ZMP判据及预观控制,混杂零动态规划方法,虚拟模型解耦控制;基于学习的小脑技术路线控制方法有强化学习和模仿学习

迎宾服务机器人的大脑发展方向:智能化和自主化发展

迎宾服务机器人需要整合视觉,听觉,触觉等多种感知模态,使机器人在复杂场景中做出更准确的决策;结合听觉和触觉信息,机器人可以更好地理解人类的指令和情感状态

智能迎宾服务机器人大模型多技术路线:四条(LLM,VLM,VLA,多模态大模型)

LLM(大语言模型+VFM(视觉基础模型)实现人机语言交互、任务理解、推理和规划;VLM(视觉-语言模型)实现更准确的任务规划和决策;VLA (视觉-语言-动作模型)解决机器人运动轨迹决策问题

迎宾机器人的大脑需要具备的能力:实时交互 多模态感知

迎宾机器人需要具备与人类实时的任务级交互能力,快速理解人类通过语言,手势等方式给出的指令,有效执行;迎宾机器人需要能够通过视觉、听觉、触觉等多种感官获取信息

服务机器人的GPS-SLAM系统

LDS SLAM 与 VSLAM 各有优劣,二者相容或成为行业主流发展方向之一;LDS SLAM 技术可视范围广,地图精度更高;VSLAM技术成本更低,寿命长,不易损

餐饮酒店标准化高,服务机器人将体现独特的优势实现成本优化

将重复率较高,工作内容较枯燥的工作交给服务机器人去做,可以使员工把更多的精力集中在服务客户上面,并可以降低一定成本,可降低总成本的17%

服务器人提供助力点,解决餐饮快消业的企业端和顾客端痛点

送餐已经可以通过机器人自主完成,员工可以把节省出来的时间和精力,投入在给客人庆生,涮菜涮肉等服务水平的提升上,机器人真正带来了降本增效

仅部分企业部署了服务机器人,存在巨大的增量空间

送餐已经可以通过机器人自主完成,员工可以把节省出来的时间和精力,投入在给客人庆生,涮菜涮肉等服务水平的提升上,机器人真正带来了降本增效

服务器人提供助力点,解决医疗服务业的企业端和顾客端痛点

医疗机器人已成为智慧养老模式下的首选养老设备,医院中有繁杂的配送药物或餐食的任务,并且需在特定时间准时送达

服务器人提供助力点,解决酒店旅游业的企业端和顾客端痛点

服务机器人可以使人工成本降低50%左右;酒店场景中服务机器人便于给客户打造私密空间;旅游场景中服务机器人可以给出完全透明且准确的信息

酒店引导机器人-创泽酒店引导机器人24H不间断服务

酒店引导机器人以机器人硬件为载体,依托云平台强大的智能服务技术,引入智能语音交互系统,大数据分析系统,智能视觉识别系统,真正实现“能听,会说,能思考,会判断,看得见,认得出”的智能化服务

人形迎宾机器人的参数和价格

特斯拉量产后预计售价 2 万美元;优必选Walker价格200 万; Ameca价格13.3 万美元; Digit价格25 万美元;Atlas价格190 万美元;Asimo价格近 300 万美元
资料获取
迎宾机器人
== 最新资讯 ==
展厅迎宾机器人小脑技术的演进:视觉-语言
展厅迎宾讲解机器人的小脑技术路线:两种(
迎宾服务机器人的大脑发展方向:智能化和自
智能迎宾服务机器人大模型多技术路线:四条
迎宾机器人的大脑需要具备的能力:实时交互
机器人的触感灵巧手Linker Hand
中美AIGC产业商业化落地生态与发展趋势
2024年AI大模型技术变迁情况回溯:技
智能迎宾机器人关键技术:运控算法
仿人形机器人产业链空间广阔,未来或达到万
2024具身智能科技前沿热点:智能灵巧操
2024年企业AI大模型应用落地白皮书-
2024年AI大模型赋能智能座舱研究报告
Graph AI:大模型浪潮下的图计算白
2024年AI大模型对我国劳动力市场潜在
== 机器人推荐 ==
迎宾讲解服务机器人

服务机器人(迎宾、讲解、导诊...)

智能消毒机器人

智能消毒机器人

机器人开发平台

机器人开发平台


机器人底盘 Disinfection Robot 消毒机器人  讲解机器人  迎宾机器人  移动机器人底盘  商用机器人  智能垃圾站  智能服务机器人  大屏机器人  雾化消毒机器人  紫外线消毒机器人  消毒机器人价格  展厅机器人  服务机器人底盘  核酸采样机器人  智能配送机器人  导览机器人 
版权所有 创泽智能机器人集团股份有限公司 中国运营中心:北京 清华科技园九号楼5层 中国生产中心:山东日照太原路71号
销售1:4006-935-088 销售2:4006-937-088 客服电话: 4008-128-728