首页
产品系列
行业应用
渠道合作
新闻中心
研究院
投资者关系
技术支持
关于创泽
| En
 
  当前位置:首页 > 新闻资讯 > 机器人知识 > 机器人多模态视觉语言导航技术解析  
 

机器人多模态视觉语言导航技术解析

来源:算法邦      编辑:创泽      时间:2022/4/21      主题:其他   [加盟]

计算机视觉(CV)和自然语言处理(NLP)早先是两个较为d立的研究L域。CV 重点关注如何用计算机代替人眼对目标完成识别、跟踪、测量等任务,对图像进行处理;NLP 则研究计算机如何处理、运用自然语言,包括语言生成、问答、对话等任务。近年来,以深度神经网络为代表的机器学习和模式识别技术被广泛应用于 CV 和 NLP L域,取得了目前先进的效果。

近年来,研究者们试图将动作控制也引入到「视觉-语言」任务的框架中。吴琦将此类任务命名为 V3A(Vision, Ask, Answer, Act),在给定视觉输入后,我们希望机器能够提出问题、回答问题、并通过和人以及机器之间的语言交流执行某些动作。

例如,「Vision+Ask」的任务包含视觉问题生成、根据问题生成查询、图像描述等;「Vision+Answer」的任务包含视觉问答、视觉对话等;「Vision+Act」的任务包含指称表达、视觉对齐(visual grounding)、语言引导的视觉导航、具身视觉问答、具身指称表达等。




  



基于康复机器人内部传感器的运动功能评价方法

基于康复机器人内部传感器识别记录训练过程中的运动学参数,能够实时定量评估不同的运动模式,还能够掌握患者是否主动参与训练等情况

优必选科技副总裁庞建新:面向智能机器人的视觉感知与理解

智能机器人视觉方面的工作,主要体现在感知、理解、学习及推理4个方面,涉及到目标检测、目标追踪、人体姿态估计、人脸识别、行为识别、推理等技术

优必选专家丁宏钰深入讲解大型仿人机器人整机构型

从大型仿人机器人整机构型国内外研究现状入手,围绕机器人整机构型、关节运动特点、伺服驱动器、减速器、仿真平台等方面进行深度讲解,最后就大型仿人机器人整机构型未来发展趋势给出自己的见解

个性化的人机交互

HRI的MTL可以使机器人更轻松,更智能地与新用户进行交互,即使使用诸如RL这样的数据密集型方法,也可以避免社交交互失败的不利影响。MTL和多模态ML已用于自动识别自闭症谱系障碍(ASD)儿童

浅谈服务机器人的潜在危险

服务机器人潜在危险有:电击、与能量有关的危险、着火、与热有关的危险、机械危险、辐射、化学危险等

视频搜索太难了!阿里文娱多模态搜索算法实践

视频搜索是涉及信息检索、自然语言处理(NLP)、机器学习、计算机视觉(CV)等多领域的综合应用场景

野外自主农作物探测机器人Robotanist使用扩展卡尔曼滤波器(EKF)方法融合MTI等传感器信息

驱动系统由4个200W无刷直流电机构成,通过50:1的空心轴减速机可以最高达2m/s的速度在玉米、高粱等农作物的地里前进

Jupiter由四轮独立转向的底盘和UR5机械臂组成通过SSD网络检测目标物体

通过2D激光雷达信息采用Hector SLAM实现机器人对地图的感知和自主导航规划,通过顶部的RGB-D相机采集目标物体深度和RGB图像信息

移动式操作机器人平台Personal Robot 2可模拟开门、打台球和画画

机器人的学习分为三个部分的轨迹预测包括示教者的手部运动轨迹、示教者的身体移动轨迹以及被操作物体的运动轨迹

仿人操作机器人Cosero配备7自由度机械臂装有Kinect相机实现对目标环境的3D感知

Cosero是德国波恩大学的Sven Behnke团队根据家庭环境中的日常操作任务而研制的一款仿人操作机器人基于深度学习方法的目标姿态估计和RGB-D SLAM等感知测量

传感器面临时代新机遇,未来发展将呈现哪些趋势

机器人、无人机、自动驾驶汽车等加快落地,智慧城市深入建设,更是为传感器产业带来了难以估量的庞大机遇

中国移动室内定位白皮书

中国移动联合产业合作伙伴发布《室内定位白皮书》,对室内定位产业发展现状及面临的挑战,深入分析了垂直行业的室内定位需求,并详细阐述了实现室内定位的技术原理, 及室内定位评测体系
 
资料获取

服务机器人在展馆迎宾讲解
新闻资讯
== 资讯 ==
» 具身智能——决定 机器人泛化能力天花板的
» 服务机器人兼容方面检测:电磁兼容与协议兼
» 服务机器人可信方面检测:数据可信、算法可
» 服务机器人可靠方面检测:环境适应性,无故
» AI工具深度测评与选型指南V1-5大类别
» 2025基于DeepSeek的详细规划智
» 以DeepSeek为代表的AI在能源行业
» 人形机器人危险类型及典型示例:机械危险、
» 服务机器人安全方面检测:机械安全、电气安
» 北京市人工智能赋能新型工业化行动方案20
» 服务机器人智能方面检测:大小脑智能、 肢
» 中国人工智能视觉检测系统领域TOP10
» 2025年中国具身智能产业TOP100
» 人形机器人检测的六个核心专业维度:智能,
» 人形机器人产业发展现状、市场前景及未来展
 
== 机器人推荐 ==
 
迎宾讲解服务机器人

服务机器人(迎宾、讲解、导诊...)

智能消毒机器人

智能消毒机器人

机器人底盘

机器人底盘

 

商用机器人  Disinfection Robot   展厅机器人  智能垃圾站  轮式机器人底盘  迎宾机器人  移动机器人底盘  讲解机器人  紫外线消毒机器人  大屏机器人  雾化消毒机器人  服务机器人底盘  智能送餐机器人  雾化消毒机  机器人OEM代工厂  消毒机器人排名  智能配送机器人  图书馆机器人  导引机器人  移动消毒机器人  导诊机器人  迎宾接待机器人  前台机器人  导览机器人  酒店送物机器人  云迹科技润机器人  云迹酒店机器人  智能导诊机器人 
版权所有 © 创泽智能机器人集团股份有限公司     中国运营中心:北京·清华科技园九号楼5层     中国生产中心:山东日照太原路71号
销售1:4006-935-088    销售2:4006-937-088   客服电话: 4008-128-728