首页
产品系列
行业应用
渠道合作
新闻中心
研究院
投资者关系
技术支持
关于创泽
| En
 
  当前位置:首页 > 新闻资讯 > 机器人知识 > 机器人多模态视觉语言导航技术解析  
 

机器人多模态视觉语言导航技术解析

来源:算法邦      编辑:创泽      时间:2022/4/21      主题:其他   [加盟]

计算机视觉(CV)和自然语言处理(NLP)早先是两个较为d立的研究L域。CV 重点关注如何用计算机代替人眼对目标完成识别、跟踪、测量等任务,对图像进行处理;NLP 则研究计算机如何处理、运用自然语言,包括语言生成、问答、对话等任务。近年来,以深度神经网络为代表的机器学习和模式识别技术被广泛应用于 CV 和 NLP L域,取得了目前先进的效果。

近年来,研究者们试图将动作控制也引入到「视觉-语言」任务的框架中。吴琦将此类任务命名为 V3A(Vision, Ask, Answer, Act),在给定视觉输入后,我们希望机器能够提出问题、回答问题、并通过和人以及机器之间的语言交流执行某些动作。

例如,「Vision+Ask」的任务包含视觉问题生成、根据问题生成查询、图像描述等;「Vision+Answer」的任务包含视觉问答、视觉对话等;「Vision+Act」的任务包含指称表达、视觉对齐(visual grounding)、语言引导的视觉导航、具身视觉问答、具身指称表达等。




  



基于康复机器人内部传感器的运动功能评价方法

基于康复机器人内部传感器识别记录训练过程中的运动学参数,能够实时定量评估不同的运动模式,还能够掌握患者是否主动参与训练等情况

优必选科技副总裁庞建新:面向智能机器人的视觉感知与理解

智能机器人视觉方面的工作,主要体现在感知、理解、学习及推理4个方面,涉及到目标检测、目标追踪、人体姿态估计、人脸识别、行为识别、推理等技术

优必选专家丁宏钰深入讲解大型仿人机器人整机构型

从大型仿人机器人整机构型国内外研究现状入手,围绕机器人整机构型、关节运动特点、伺服驱动器、减速器、仿真平台等方面进行深度讲解,最后就大型仿人机器人整机构型未来发展趋势给出自己的见解

个性化的人机交互

HRI的MTL可以使机器人更轻松,更智能地与新用户进行交互,即使使用诸如RL这样的数据密集型方法,也可以避免社交交互失败的不利影响。MTL和多模态ML已用于自动识别自闭症谱系障碍(ASD)儿童

浅谈服务机器人的潜在危险

服务机器人潜在危险有:电击、与能量有关的危险、着火、与热有关的危险、机械危险、辐射、化学危险等

视频搜索太难了!阿里文娱多模态搜索算法实践

视频搜索是涉及信息检索、自然语言处理(NLP)、机器学习、计算机视觉(CV)等多领域的综合应用场景

野外自主农作物探测机器人Robotanist使用扩展卡尔曼滤波器(EKF)方法融合MTI等传感器信息

驱动系统由4个200W无刷直流电机构成,通过50:1的空心轴减速机可以最高达2m/s的速度在玉米、高粱等农作物的地里前进

Jupiter由四轮独立转向的底盘和UR5机械臂组成通过SSD网络检测目标物体

通过2D激光雷达信息采用Hector SLAM实现机器人对地图的感知和自主导航规划,通过顶部的RGB-D相机采集目标物体深度和RGB图像信息

移动式操作机器人平台Personal Robot 2可模拟开门、打台球和画画

机器人的学习分为三个部分的轨迹预测包括示教者的手部运动轨迹、示教者的身体移动轨迹以及被操作物体的运动轨迹

仿人操作机器人Cosero配备7自由度机械臂装有Kinect相机实现对目标环境的3D感知

Cosero是德国波恩大学的Sven Behnke团队根据家庭环境中的日常操作任务而研制的一款仿人操作机器人基于深度学习方法的目标姿态估计和RGB-D SLAM等感知测量

传感器面临时代新机遇,未来发展将呈现哪些趋势

机器人、无人机、自动驾驶汽车等加快落地,智慧城市深入建设,更是为传感器产业带来了难以估量的庞大机遇

中国移动室内定位白皮书

中国移动联合产业合作伙伴发布《室内定位白皮书》,对室内定位产业发展现状及面临的挑战,深入分析了垂直行业的室内定位需求,并详细阐述了实现室内定位的技术原理, 及室内定位评测体系
 
资料获取

服务机器人在展馆迎宾讲解
新闻资讯
== 资讯 ==
» 各地主要人形机器人政策及核心内容
» 人形机器人的产业布局特点:核心突破-特色
» 国产人形机器人:多维共振 应用场景落地加
» 机器人底盘设计同步驱动结构的轮子装配
» 移动机器人轮子类型的选择,轮子的结构和装
» 轮式引导机器人的轮子设计方案:四种轮子类
» 六腿机器人(六脚)设计案例参考:Laur
» 四腿机器人机器狗设计案例参考:AIBO,
» 双腿机器人(双脚)设计案例:SDR-4X
» 单腿机器人的优缺点:不需要协调,难是保持
» 类人形机器人腿的构造与设计:腿的自由度提
» 仿人形腿式移动机器人的优缺点:适合于粗糙
» 迎宾前台机器人控制系统设计方案:电源系统
» 迎宾机器人外形结构设计方案:卡通形象,触
» 导引机器人内部之加速度和角加速度传感器,
 
== 机器人推荐 ==
 
迎宾讲解服务机器人

服务机器人(迎宾、讲解、导诊...)

智能消毒机器人

智能消毒机器人

机器人底盘

机器人底盘

 

商用机器人  Disinfection Robot   展厅机器人  智能垃圾站  轮式机器人底盘  迎宾机器人  移动机器人底盘  讲解机器人  紫外线消毒机器人  大屏机器人  雾化消毒机器人  服务机器人底盘  智能送餐机器人  雾化消毒机  机器人OEM代工厂  消毒机器人排名  智能配送机器人  图书馆机器人  导引机器人  移动消毒机器人  导诊机器人  迎宾接待机器人  前台机器人  导览机器人  酒店送物机器人  云迹科技润机器人  云迹酒店机器人  智能导诊机器人 
版权所有 © 创泽智能机器人集团股份有限公司     中国运营中心:北京·清华科技园九号楼5层     中国生产中心:山东日照太原路71号
销售1:4006-935-088    销售2:4006-937-088   客服电话: 4008-128-728