嘉兴市网站建设_网站建设公司_UI设计_seo优化
2026/1/10 16:00:26 网站建设 项目流程

2025,AI 安全的关注对象发生了变化

【模安局导读】回顾这一年,AI 安全的关注重心从年初的大模型安全,演进至年中的智能体安全,并在年底指向隐约浮现的人机关系安全,整体脉络愈发清晰。其间,内容、数据、网络与 AI 安全深度交织,政策、标准、框架、技术与产品协同推进;传统安全厂商与大模型公司正面交锋,科技巨头与创业团队纷纷入场。竞争与合作并存,风险与机遇共生,共同勾勒出这一年 AI 安全演进的时代图景。

这一年,大模型以一种几乎不讲道理的速度,闯进了现实世界。

年初 DeepSeek 的爆发,客观上推动了大模型能力的下沉与应用普及;到年底,全国已有 600 多个大模型完成备案,AI 不再只是实验室里的技术演示,而是真正进入了生产系统、业务流程和普通用户的日常生活。

但几乎是同步发生的,是安全问题被不断“拉到台前”。

从内容合规,到系统攻击;从模型越狱,到智能体失控;从一次违规输出,到长期人机关系风险——大模型越是走向真实世界,安全问题就越难被当作“附加项”来对待。

回看 2025 年,这并不是 AI 安全被彻底解决的一年,而是一个更重要的节点:

AI 安全,开始被系统性地理解、讨论和约束。

AI 安全从技术自觉走向制度约束

2025 年,AI 安全最明显的变化,并不发生在技术层,而是发生在治理层。

7 月,中美两国几乎同时发布 AI 行动计划,不约而同地将 AI 治理视为一项长期性、系统性、跨国界的工程。

中国强调构建多层次、体系化的治理框架,推动全球共治,并在上海成立国家级 AI 治理相关组织,强化国际对话能力。

美国则更多从技术管控与战略竞争角度出发,推动“可信 AI”“责任 AI”等标准体系,并通过盟友机制输出治理框架。

AI 治理,正在成为新一轮国际规则与话语权竞争的核心议题。

在国内,2025 年同样是 AI 治理快速推进的一年。围绕大模型安全,先后发布并推进了多项国家标准,覆盖应用安全、数据安全、标注安全、标识安全、AI 计算平台安全以及政务大模型落地细则等关键环节,治理对象从“模型本身”逐步扩展到全生命周期与真实应用场景。

5个大模型安全相关国家标准,后台回复“标准”获取

监管层面的动作也明显加速。4 月 30 日,中央网信办启动“清朗·整治 AI 技术滥用”专项行动,明确将 AI 技术的滥用风险纳入常态化治理视野。

在国际层面,ISO/IEC发布ISO/IEC 42005,首次将“AI 对个体、群体与社会的影响”系统性纳入组织治理流程。这意味着,AI 安全不再只是工程问题,而被正式提升为组织治理与责任问题。

一个清晰的信号正在形成:

AI 安全,正在从“技术自觉”,走向“制度约束”。

拆解风险,AI治理框架日趋成熟

如果说监管解决的是“谁来管”,那么行业框架回答的,是“到底在管什么、怎么管”。

这一年,AI 安全领域的一个显著变化是:模糊的风险感知,开始被拆解为可枚举、可讨论、可评估的具体问题。

国际非营利组织OWASP持续更新2025 年大模型十大安全风险,将提示词注入、敏感信息泄露、供应链安全、数据与模型投毒等风险明确列出,给出了当前大模型应用中最容易被忽视、但代价极高的风险清单。

MITRE则从攻击者视角出发,提出面向AI 的 15 个攻击策略框架,强调 AI 系统并不是“新物种”,而是正在成为网络攻击链条中的新节点。

在厂商侧,安全框架也开始从“被动合规”转向“主动设计”。

4 月,Google发布AI 安全框架 SAIF,从原生 AI 厂商视角系统梳理 AI 风险与防控思路。

与此同时,OpenAI在新模型发布中不断强化自身安全机制,引入“安全补齐”、双层内容审查护栏、基于行为特征的风险账号识别等手段,安全关注点已明显从“输出内容”扩展到“用户行为与系统使用方式”。

在国内,网安标委对《AI 安全治理框架》的持续迭代,将“应用分类 + 风险分级”写入治理抓手,从应用场景、智能化水平、应用规模等维度推动形成可执行、可落地的评估路径。

可以看到,一个行业共识正在逐渐清晰:

AI 安全不再只是模型说了什么,而是系统如何被使用、被调用、被放进现实流程中。

攻防评检,AI治理技术体系化

当共识逐渐形成,技术层面的推进开始全面加速。

从 2025 年的整体情况来看,AI 安全首次在技术层面呈现出相对完整的闭环:

攻、防、评、检、研,开始同时向前推进。

在“攻”的一侧,大模型越狱与对抗手法快速演进。我在年中系统梳理并总结了 28 种面向 LLM 的攻击方式,攻击已不再是零散技巧,而逐渐形成可复用的攻击范式。

在“防”的一侧,开源护栏模型迎来集中爆发。

  • 3 月,CMU 开源 PolyGuard,覆盖 17 种语种,支持多任务统一防护;
  • 4 月,Meta 推出 Llama Guard 4,原生支持多模态风险内容识别;
  • 9 月,阿里开源 Qwen3 Guard 系列,一次性提供多种参数规模选择,显著降低安全能力接入门槛。

在“评”的层面,围绕大模型安全评测的数据基础设施快速增长。我全年整理汇总了149 个安全评测数据集,覆盖综合安全、专项安全、价值观对齐、偏见评估等多个维度,安全评估正从“主观判断”走向“数据驱动”。

在“检”的层面,网安标委系统梳理了 50 余种 AIGC 检测技术路径,为识别 AI 生成内容提供了方法论参考。

在“研”的层面,安全问题首次成为顶级学术会议的核心议题之一。今年 ACL 最佳论文中,有 3 篇直接指向 AI 安全的底层机理:

  • 采样策略本身可能制造风险;
  • 公平并非“抹平差异”,而是“识别差异”;
  • 模型规模越大,对齐后反而可能产生“结构性抗性”。

这些研究共同指向一个事实:

安全不只是工程补丁,而是模型内在机制的一部分。

从大模型到智能体:安全范式正在发生变化

2025 年,也被许多人称为“智能体元年”。

相比单一模型,智能体引入了工具调用、长期记忆、自主决策和跨系统协作能力,安全风险不再是“输出一句话对不对”,而是行为是否可控、权限是否越界、后果是否可追溯。

这一变化,迅速体现在安全框架中。

7 月,OWASP发布面向Agentic AI 的威胁与防护框架,并在年底推出 Agent 十大安全威胁;

10 月,OWASP 发布AIVSS(Agentic AI 漏洞评分体系),尝试用传统网络安全方法论重构面向智能体的评估体系;

11月,英伟达发布了一套创新的Agentic安全与防护框架。其核心理念是引入具备上下文感知能力的辅助AI模型,在人工监督下,动态执行风险的发现、评估与缓解,从而实现实时、自适应的风险管理。

Google、CSA等机构也相继推出面向 Agent 的安全框架,试图在复杂系统中重新建立控制边界。

如果说大模型安全关注的是“模型说了什么”,那么智能体安全关注的则是:

它能做什么、会不会做错事、错了之后还能不能被拉回来。

人机关系安全:AI安全新篇章

2025 年,大模型安全讨论的主线,经历了一次关键转向。

如果说前期关注的还是模型是否可控、系统是否安全,那么在年底,监管开始明确介入一个更底层的问题:AI 在使用过程中,被放在了什么样的位置。

12 月 27 日发布的《人工智能拟人化互动服务管理暂行办法(征求意见稿)》相关管理要求,并不是针对某项具体技术能力,而是在划定一条长期被忽视的边界——

AI 可以更像人,但不能被当作人;可以互动,但不能替代;可以共情,但不能操纵。

这意味着,治理的对象不再只是“系统行为是否越界”,而是人机关系是否被错误地设计与使用。

这类风险往往不会通过一次输出暴露,而是在持续交互中逐渐累积,最终以依赖、偏移或责任转移的形式显现。

对从业者而言,真正需要回答的,已经不是“模型还缺什么能力”,而是一个更根本的问题:

在你的产品中,AI 被允许承担的角色,是否被清晰定义过。

如果这个问题被回避,那么无论技术多么先进,安全都只会延后出现,而不会真正消失。

回看 2025 年,AI 安全并没有被一次性解决,但关注对象已经发生了清晰转移。从模型本身,到系统能力,再到人机关系边界,这条路径并非偶然,而是 AI 走向真实世界后的必然结果。

真正的挑战,才刚刚开始。

学习资源

如果你是也准备转行学习网络安全(黑客)或者正在学习,这里开源一份360智榜样学习中心独家出品《网络攻防知识库》,希望能够帮助到你

知识库由360智榜样学习中心独家打造出品,旨在帮助网络安全从业者或兴趣爱好者零基础快速入门提升实战能力,熟练掌握基础攻防到深度对抗。

读者福利 |CSDN大礼包:《网络安全入门&进阶学习资源包》免费分享(安全链接,放心点击)

1、知识库价值

深度: 本知识库超越常规工具手册,深入剖析攻击技术的底层原理与高级防御策略,并对业内挑战巨大的APT攻击链分析、隐蔽信道建立等,提供了独到的技术视角和实战验证过的对抗方案。

广度: 面向企业安全建设的核心场景(渗透测试、红蓝对抗、威胁狩猎、应急响应、安全运营),本知识库覆盖了从攻击发起、路径突破、权限维持、横向移动到防御检测、响应处置、溯源反制的全生命周期关键节点,是应对复杂攻防挑战的实用指南。

实战性: 知识库内容源于真实攻防对抗和大型演练实践,通过详尽的攻击复现案例、防御配置实例、自动化脚本代码来传递核心思路与落地方法。

2、 部分核心内容展示

360智榜样学习中心独家《网络攻防知识库》采用由浅入深、攻防结合的讲述方式,既夯实基础技能,更深入高阶对抗技术。

360智榜样学习中心独家《网络攻防知识库》采用由浅入深、攻防结合的讲述方式,既夯实基础技能,更深入高阶对抗技术。

内容组织紧密结合攻防场景,辅以大量真实环境复现案例、自动化工具脚本及配置解析。通过策略讲解、原理剖析、实战演示相结合,是你学习过程中好帮手。

1、网络安全意识

2、Linux操作系统

3、WEB架构基础与HTTP协议

4、Web渗透测试

5、渗透测试案例分享

6、渗透测试实战技巧

7、攻防对战实战

8、CTF之MISC实战讲解

3、适合学习的人群

一、基础适配人群

  1. 零基础转型者‌:适合计算机零基础但愿意系统学习的人群,资料覆盖从网络协议、操作系统到渗透测试的完整知识链‌;
  2. 开发/运维人员‌:具备编程或运维基础者可通过资料快速掌握安全防护与漏洞修复技能,实现职业方向拓展‌或者转行就业;
  3. 应届毕业生‌:计算机相关专业学生可通过资料构建完整的网络安全知识体系,缩短企业用人适应期‌;

二、能力提升适配

1、‌技术爱好者‌:适合对攻防技术有强烈兴趣,希望掌握漏洞挖掘、渗透测试等实战技能的学习者‌;

2、安全从业者‌:帮助初级安全工程师系统化提升Web安全、逆向工程等专项能力‌;

3、‌合规需求者‌:包含等保规范、安全策略制定等内容,适合需要应对合规审计的企业人员‌;

因篇幅有限,仅展示部分资料,完整版的网络安全学习资料已经上传CSDN,朋友们如果需要可以在下方CSDN官方认证二维码免费领取【保证100%免费】

‌;

因篇幅有限,仅展示部分资料,完整版的网络安全学习资料已经上传CSDN,朋友们如果需要可以在下方CSDN官方认证二维码免费领取【保证100%免费】

文章来自网上,侵权请联系博主

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询