基于多模态感知融合和大模型决策的生成式交互应用场景-准确率88.7%,端侧响应时间≤0.5秒,搭载55万台套

在汽车智能化升J浪潮下，传统智能座舱面临三大核心痛点：语义理解能力薄 弱，难以应对口语化语料与多意图指令；个性化服务缺失，无法结合人-车-环境数据 提供定制化体验；交互流程繁琐，过度依赖触控操作，影响驾驶安全。随着用户对座 舱交互自然性、智能化需求日益迫切，重庆作为智能网联汽车产业重镇，亟需突破相 关技术瓶颈。为此，项目立足重庆“416”科技创新布局，以多模态感知融合与大模型决 策为核心，构建生成式交互解决方案，推动座舱交互从“触控为主”向“自然对话为主” 变革。

本项目以数据驱动与算法支撑为核心，广泛采集标注座舱数据供给模型训练，打 通国产大模型基座到业务的完整链路，凭借坚实技术底座支撑多元产品形态，推动国 产化大模型落地座舱，助力座舱语音交互技术跻身国际L先，方案如下图所示。

2.创建了基于用户画像、车辆信息、环境信息的意图识别模型。构建融合用户画 像、车辆信息、环境信息的意图识别模型，整合用户属性、舱外目标、交通标识等多 维度数据，研发群体-个体智能推荐算法，实现潜在舱驾业务意图准确推荐，优化个性 化服务与人机协作体验。

3.提出了基于对话流生成式的智能座舱交互系统。提出对话流生成式智能座舱交 互系统，依托大语言模型攻克口语化语料理解难题，推动交互形态从“触控为主”向“自 然对话为主”演进，结合多模态感知与大模型决策形成生成式CUI交互，解决80%以上 大模型幻觉问题，实现千人千面的沉浸式交互。

4.提出了一种生成式座舱人机交互算法架构设计。采用模块化与任务导向设计， 分离数据层与各类大模型，可灵活调度下游模型，高度融合超了大板块业务，行业 次实现座舱大模型中上游技术分发与下游业务执行的动态映射，提升系统可扩展性与 任务处理效率。

·量化成效

技术指标：单意图识别准确率88.7%、语义拒识率93.4%、多轮对话成功率 94.4%,较国内主流产品显著L先；端侧响应时间≤0.5秒，4bit 量化推理速度达 84tokens/s。

经济效益：2023-2024年累计搭载55万台套，新增销售收入6.2亿元，降本 739.39万元；预计2027年累计搭载超400万辆，新增收入44亿元，降本1亿元。

行业影响：牵头制定ITU 国际标准1项，申请发明专利53件(授权12项),发表EI 论文2篇，推动国产化大模型车载垂域规模化落地。

·推广案例

已成功落地长安UNI-T、启源A07、深蓝SL03/S7 等多款车型，覆盖自主品牌主流 产品线。技术方案符合重庆现代制造业集群建设要求，已形成完整API接口规范，计 划进一步推广至新能源汽车、智能出行终端等领域，具备广泛复制价值。