当前位置:首页 > 网络安全 > 2024大模型安全研究报告-将引领安全工作模式的变革
 

2024大模型安全研究报告-将引领安全工作模式的变革

来源:阿里云计算有限公司与中国信息通 信研究院    时间:2024/9/25

当前,由 ChatGPT 引发的大模型技术竞赛正推动人工智能由专用弱智能向通用强智能迈进, 这不仅标志着智能水平的显著提升,也预示着人机交互方式和应用研发模式的重大变革。大模型在 各行各业的广泛应用,为第四次工业革命的爆发提供了蓬勃动力和创新潜力。

然而,随着大模型商业化应用和产业化落地加速,大模型技术局限和恶意使用不仅加剧了原有人工 智能安全风险,也引入了模型“幻觉”、指令注入攻击、网络攻击平民化等新型风险。面对这些挑 战,国际组织和世界主要正通过制定治理原则、完善法律法规、研制技术标准等方式,积J开 展大模型安全治理。同时,大模型在逻辑推理、任务编排等方面的不错能力,为解决网络空间安全 瓶颈问题带来了新的机遇。

随着各类大模型与经济社会的深度融合,其技术局限和潜在恶意使用不仅威胁大模型系统自身的安全稳定运行, 也可能为使用大模型的各行各业带来非预期安全影响。

为尽可能多面应对大模型L域的基础共性安全挑战,本报告优先对语言、多模态等各类基础大模型系统的安全 风险进行系统梳理。与此同时,参考 ISO/IEC 5338-2023 《人工智能系统生命周期过程》国际标准,将基础大 模型系统抽象为训练数据、算法模型、系统平台和业务应用四个重要组成部分,并通过描绘这四个组成部分面 临的重要和一般安全风险,形成大模型安全风险地图,如图 1 所示。其中,重要风险是发生概率G和影响程度 大的风险,一般风险则反之。

短期来看,大模型将显著提升现有安全技术的性能和智能化水平。得益于大模型在数据理解、意图识别、任务 编排等方面的能力,在安全问答、安全运营、数据分类分J、违规处理个人信息检测、音视图文内容安全检测 等关键网络安全场景中,大模型能够在大幅减少人工参与的同时,有效提升安全事件处理的效率和准确性。

长期来看,大模型有潜力成为安全防护的核心,从而改变安全的工作模式。当前,大模型主要扮演安全从业人 员的辅助工具,用于提G他们的工作效率和效能。未来,随着大模型在自主研判和决策能力方面的提升,它们 预期将进化为安全从业人员的合作伙伴,共同应对安全风险的识别、防御、检测、响应和恢复等一系列复杂工作。 此外,大模型在数据安全、内容安全等L域也将发挥关键作用。大模型预计将引L安全工作模式的变革,从依赖安全人员调度和使用安全工具,转变为以大模型为核心调度并智能化使用安全工具。


附件:2024大模型安全研究报告-将引L安全工作模式的变革



 
 
 
相关推荐
» 2024网络安全执法案例集-七大行业的典型网络安全执法案例31起
» 2022-2024数据安全处罚典型案例:63个典型案例参考
» 政务大模型安全治理框架:安全风险主要包括七个主要类型,大模型开发安全到运行安全等方面
» 2024企业数据跨境安全合规指引:分析数据跨境的风险、合规要求和典型案例
» 律师办理数据出境法律业务操作指引2024:操作规范,降低提供数据过程中的法律风险
» 网络安全战略与技术发展趋势蓝皮书(2024年):发展现状和未来趋势,评估全球网络安全格局的变化
» 数字银行场景安全技术解决方案研究报告:保障数字银行的API安全、数据安全,数据脱敏、数字水印均已完成原型实现和验证
» 无线内生安全技术2.0蓝皮书:支撑无线内生安全的关键技术,无线内生安全原型验证系统
 
 
 
  » 联系我们
X 关闭  
 
网站首页
关于创泽 公司简介   资质荣誉   企业文化
新闻资讯 公司新闻 [机器人新闻 董事长新闻 比赛与荣誉类]  行业动态
解决方案 商用服务机器人   陪护机器人   安防机器人   智能医疗机器人  党建机器人
服务支持 常见问题   下载
人才招聘 招聘信息   精彩瞬间
党群建设 党建活动   工会活动   其他活动
商务合作 招募支持   报名提交
联系我们 售后服务   留言咨询
   
   
 
联系我们  
北京·清华科技园C座五楼
山东省日照市开发区太原路71号
版权所有 © 创泽智能机器人集团股份有限公司           中国运营中心:北京·清华科技园C座五楼       生产研发基地:山东日照太原路71号       电话:4008-128-728