人工智能安全治理研究（91页，2026年）

分类：人工智能

标签：AI安全、对抗攻击、数据投毒、价值对齐、智能体安全

摘要：核心结论：报告聚焦人工智能自身的安全风险与治理路径，提出“能力与对齐的失配”是核心矛盾。随着模型能力快速跃迁，安全短板（对抗脆弱性、数据污染、对齐偏差、智能体失控风险）成为制约规模化应用的关键，需以技术安全、制度规制与全球协作三轮驱动应对，防止能力增长跑赢安全供给。 关键数据与市场：技术安全层面，2025 年高危攻击事件同比增加约 420%，针对 AI 系统的对抗活动显著上升；多模态越狱、物理对抗样本、分布外（OOD）幻觉、智能体沙箱漏报（约 27%）等问题凸显，表明防御体系仍不成熟。制度层面，2026 年 1 月 1 日施行网络安全法修订，2026 年 5 月《智能体规范应用与创新发展实施意见》发布，标志治理从原则走向细则，安全合规成为智能体上线的前置条件。 技术安全基础：模型在分布外输入、对抗扰动下易产生错误输出；多模态场景的越狱与提示注入使安全边界更难界定；物理世界对抗样本将风险从数字域延伸到现实域，对自动驾驶、机器人等具身智能构成挑战。 数据安全与隐私：训练数据规模与来源复杂化带来投毒与隐私泄露风险，数据清洗、去标识化与合成数据治理成为基础防线；研究基础设施韧性要求算力、

来源：zuudee | 日期：2026-08-27 | 格式：PDF | 页数：91