当前位置:首页 > 网络安全 > 2024大模型安全研究报告-将引领安全工作模式的变革
 

2024大模型安全研究报告-将引领安全工作模式的变革

来源:阿里云计算有限公司与中国信息通 信研究院    时间:2024/9/25

当前,由 ChatGPT 引发的全球大模型技术竞赛正推动人工智能由专用弱智能向通用强智能迈进, 这不仅标志着智能水平的显著提升,也预示着人机交互方式和应用研发模式的重大变革。大模型在 各行各业的广泛应用,为第四次工业革命的爆发提供了蓬勃动力和创新潜力。

然而,随着大模型商业化应用和产业化落地加速,大模型技术局限和恶意使用不仅加剧了原有人工 智能安全风险,也引入了模型“幻觉”、指令注入攻击、网络攻击平民化等新型风险。面对这些挑 战,国际组织和世界主要国家正通过制定治理原则、完善法律法规、研制技术标准等方式,积极开 展大模型安全治理。同时,大模型在逻辑推理、任务编排等方面的卓越能力,为解决网络空间安全 瓶颈问题带来了新的机遇。

随着各类大模型与经济社会的深度融合,其技术局限和潜在恶意使用不仅威胁大模型系统自身的安全稳定运行, 也可能为使用大模型的各行各业带来非预期安全影响。

为尽可能全面应对大模型领域的基础共性安全挑战,本报告优先对语言、多模态等各类基础大模型系统的安全 风险进行系统梳理。与此同时,参考 ISO/IEC 5338-2023 《人工智能系统生命周期过程》国际标准,将基础大 模型系统抽象为训练数据、算法模型、系统平台和业务应用四个重要组成部分,并通过描绘这四个组成部分面 临的重要和一般安全风险,形成大模型安全风险地图,如图 1 所示。其中,重要风险是发生概率高和影响程度 大的风险,一般风险则反之。

短期来看,大模型将显著提升现有安全技术的性能和智能化水平。得益于大模型在数据理解、意图识别、任务 编排等方面的能力,在安全问答、安全运营、数据分类分级、违规处理个人信息检测、音视图文内容安全检测 等关键网络安全场景中,大模型能够在大幅减少人工参与的同时,有效提升安全事件处理的效率和准确性。

长期来看,大模型有潜力成为安全防护的核心,从而改变安全的工作模式。当前,大模型主要扮演安全从业人 员的辅助工具,用于提高他们的工作效率和效能。未来,随着大模型在自主研判和决策能力方面的提升,它们 预期将进化为安全从业人员的合作伙伴,共同应对安全风险的识别、防御、检测、响应和恢复等一系列复杂工作。 此外,大模型在数据安全、内容安全等领域也将发挥关键作用。大模型预计将引领安全工作模式的变革,从依赖安全人员调度和使用安全工具,转变为以大模型为核心调度并智能化使用安全工具。


附件:2024大模型安全研究报告-将引领安全工作模式的变革



 
 
 
相关推荐
» 2024网络安全执法案例集-七大行业的典型网络安全执法案例31起
» 2022-2024数据安全处罚典型案例:63个典型案例参考
» 政务大模型安全治理框架:安全风险主要包括七个主要类型,大模型开发安全到运行安全等方面
» 2024企业数据跨境安全合规指引:分析数据跨境的风险、合规要求和典型案例
» 律师办理数据出境法律业务操作指引2024:操作规范,降低提供数据过程中的法律风险
» 2024重大活动网络安全保障建设及运营指南-一套全方位、立体的网络安全保障方案
» 《2024HW必修高危漏洞集合_v4.0》详细的漏洞基础信息、检测规则和修复方案
» AI隐私泄露危机四伏!如何确保数据安全?《人工智能隐私保护白皮书》
» IDC蚂蚁集团:2023安全平行切面白皮书-数字时代的原生安全架构(60页).pdf 报告预览 IDC&蚂蚁集团:2023安全平行切面白皮书
» 银行业业务安全体系建设白皮书-梳理银行业数字化转型下面临的业务安全核心问题
» 威胁猎人联合中国信通院发布《API安全发展白皮书(2023)》
» 《2023零信任关键技术白皮书》人工智能与零信任安全的技术融合与未来产业发展趋势
» 中国云原生安全市场现状与趋势白皮书-40%的企业将会采用云原生优先战略
» 《路特斯机器人智能驾驶信息安全实践白皮书》探索智能网联汽车信息安全领域管理模式
» CSA-《云原生安全技术规范》
 
 
 
  » 联系我们
X 关闭  
 
网站首页
关于创泽 公司简介   资质荣誉   企业文化
新闻资讯 公司新闻 [机器人新闻 董事长新闻 比赛与荣誉类]  行业动态
解决方案 商用服务机器人   陪护机器人   安防机器人   智能医疗机器人  党建机器人
服务支持 常见问题   下载
人才招聘 招聘信息   精彩瞬间
党群建设 党建活动   工会活动   其他活动
商务合作 招募支持   报名提交
联系我们 售后服务   留言咨询
   
   
 
联系我们  
北京·清华科技园C座五楼
山东省日照市开发区太原路71号

扫码关注微信公众号
版权所有 © 创泽智能机器人集团股份有限公司           中国运营中心:北京·清华科技园C座五楼       生产研发基地:山东日照太原路71号       电话:4008-128-728