《大模型专题：大模型的异构计算和加速》由英特尔院士戴金权在AiCon人工智能开发与应用大会上的演讲内容整理而成。报告介绍了大语言模型的异构计算和加速相关技术。先阐述大语言模型基于Transformer解码器架构的自回归模型原理。接着分析大模型推理和训练面临的瓶颈，包括内存带宽、计算、显存大小和分布式计算等方面。
报告重点介绍了大模型的异构计算和加速方法。包括XPU异构计算，涉及CPU、GPU、NPU等硬件加速；低比特计算，如模型量化/压缩、数据类型选择、低比特算子应用以及对显存使用量和训练微调的影响，并对比了不同量化方式下多个模型的精度；还介绍了推理算法优化，涵盖Self - speculative decoding、KV Cache compression等多种方式。
此外，报告还介绍了IPEX - LLM开源大模型XPU加速框架及其应用场景，如在Intel Core Ultra AI PC、Intel Arc A770 GPU等不同硬件上的加速体验，包括Office助手、工业机器人代码生成、AI座舱 - 汽车助理等多个应用案例展示了英特尔XPU在大模型应用创新方面的成果，并鼓励关注和试用IPEX - LLM，在Intel XPU平台开发大模型及其应用。
 |
| 商用机器人 Disinfection Robot 展厅机器人 智能垃圾站 轮式机器人底盘 迎宾机器人 移动机器人底盘 讲解机器人 紫外线消毒机器人 大屏机器人 雾化消毒机器人 服务机器人底盘 智能送餐机器人 雾化消毒机 机器人OEM代工厂 消毒机器人排名 智能配送机器人 图书馆机器人 导引机器人 移动消毒机器人 导诊机器人 迎宾接待机器人 前台机器人 导览机器人 酒店送物机器人 云迹科技润机器人 云迹酒店机器人 智能导诊机器人 |
