近年来，人工智能技术在医疗、金融、智能制造、自动驾驶等多个领域广泛应用。然而，其安全风险也随之凸显——尤其在自动驾驶等安全攸关的场景中，人工智能系统的可靠性与鲁棒性已成为关注的焦点。人工智能与安全领域深度交叉、相互驱动，催生了对人工智能系统安全研究的迫切需求。本书系统探讨人工智能模型面临的安全威胁及其防御技术。全书以模型脆弱性为切入点，依次剖析对抗样本攻击、模型后门、成员推理与属性推理、模型窃取等典型的安全问题，并详细介绍相应的检测机制与防护策略。在此基础上，进一步拓展至知识产权保护（神经网络水印）、隐私合规（主动遗忘）及安全数据共享等方向。最后一章聚焦大模型安全，讲解越狱攻击、提示词注入、幻觉风险及智能体集成所带来的系统安全风险。本书兼顾理论与实践，助力构建可信、可控、负责任的人工智能系统。本书可作为高等院校网络空间安全、计算机、人工智能、自动化及相关专业的本科生或研究生教材，也可供对人工智能安全感兴趣的研究人员和工程技术人员阅读参考。

陈恺，中国科学院信息工程研究所研究员，中国科学院大学教授，博士生导师。入选国家高层次人才计划领军人才，获得过世界互联网大会全球青年领军者、中国科学院青年科学家奖、CCF-IEEE CS青年科学家奖、北京市科技奖杰出青年中关村奖等多项荣誉。主要研究领域包括系统安全、人工智能安全。在IEEE S&P、USENIX Security、ACM CCS、NDSS、ICSE等高水平会议和期刊发表学术论文150余篇。获国家科技进步一等奖、北京市科技进步一等奖、中国电子学会科技进步一等奖等奖励。

第1章 人工智能安全概述 1
1.1　人工智能发展历史与目标 2
1.2　信息安全发展历史与目标 4
1.3　人工智能安全关注的问题 7
习题 10
参考文献 11
第2章 模型脆弱性 12
2.1　智能模型脆弱性简述 13
2.1.1 神经网络模型的
基本概念 14
2.1.2 模型脆弱性的由来与分类 15
2.2　图像识别模型对抗样本 17
2.2.1 白盒攻击 17
2.2.2 黑盒攻击 20
2.2.3 物理攻击 22
2.3　语音识别模型对抗样本 24
2.3.1 语音识别技术 24
2.3.2 语音识别模型的脆弱性 25
2.3.3 其他攻击技术 34
2.4　目标检测模型对抗样本 35
2.4.1 目标检测技术 35
2.4.2 目标检测模型的脆弱性 36
2.5　自然语言处理模型对抗攻击 43
2.5.1 自然语言处理技术 44
2.5.2 自然语言处理模型的脆弱性 44
2.6　对抗样本的检测与防御 45
2.6.1 面向输入样本的检测与防御 46
2.6.2 面向模型的检测与防御 47
2.7　总结与展望 48
习题 49
参考文献 50
第3章 模型后门 53
3.1　模型后门简述 54
3.1.1 模型后门的概念 54
3.1.2 常见的模型后门 55
3.2　后门攻击 59
3.2.1 污染训练数据集 59
3.2.2 修改预训练模型 61
3.3　后门防御 63
3.3.1 训练集预处理 63
3.3.2 离线后门防御 64
3.3.3 在线后门防御 66
3.4　后门检测 67
3.4.1 后门触发器逆向 68
3.4.2 后门分类器 71
3.4.3 其他后门检测方法 73
3.5　总结与展望 73
习题 74
参考文献 75
第4章 成员推理与属性推理 77
4.1　成员推理攻击 78
4.1.1 基本概念 78
4.1.2 攻击方法 79
4.1.3 攻击原理 81
4.1.4 攻击者能力 83
4.2　属性推理攻击 84
4.3　其他模型与场景 87
4.3.1 生成式对抗网络中的推理攻击 87
4.3.2 图神经网络中的推理攻击 88
4.3.3 协作式学习中的推理攻击 89
4.4　防御手段 92
4.4.1 提高模型泛化性 92
4.4.2 减少模型的差异化输出 93
4.5　总结与展望 94
习题 95
参考文献 95
第5章 模型窃取 97
5.1　模型窃取攻击简述 98
5.2　提取目标模型的参数信息 100
5.2.1 简易模型攻击示例 100
5.2.2 提取模型参数 102
5.2.3 提取模型超参数 104
5.2.4 提取目标模型的结构信息 105
5.3　提取目标模型的功能信息 107
5.3.1 替代模型的训练 108
5.3.2 数据集简化方法 110
5.4　提取目标模型的决策边界 112
5.5　防御策略 114
5.6　总结与展望 116
习题 117
参考文献 118
第6章 神经网络水印 119
6.1　神经网络水印简述 120
6.1.1 传统水印 120
6.1.2 神经网络水印 121
6.2　白盒水印 122
6.2.1 数据类水印 123
6.2.2 模式类水印 125
6.2.3 功能类水印 126
6.2.4 水印的可证明鲁棒性 128
6.3　黑盒水印 132
6.3.1 基于模型后门的水印 132
6.3.2 基于输入-输出统计分布匹配的水印 138
6.3.3 提高鲁棒性 139
6.4　神经网络水印威胁方法 141
6.4.1 对鲁棒性的攻击 141
6.4.2 对隐蔽性的攻击 143
6.4.3 对安全性的攻击 144
6.5　总结与展望 145
习题 145
参考文献 146
第7章 主动遗忘 148
7.1　主动遗忘简述 149
7.1.1 起源与挑战 149
7.1.2 目标与定义 150
7.2　基于重构训练数据的主动遗忘 151
7.2.1 线性回归模型的主动遗忘 151
7.2.2 神经网络模型的主动遗忘 157
7.2.3 采用SQ-Learning主动遗忘 160
7.3　基于模型参数更新的主动遗忘 164
7.3.1 简单参数模型的遗忘 165
7.3.2 神经网络模型的遗忘 167
7.4　主动遗忘的验证 170
7.4.1 基于后门的遗忘验证 171
7.4.2 基于成员推理的遗忘验证 172
7.4.3 可认证数据删除 172
7.5　总结与展望 173
习题 174
参考文献 174
第8章 安全的数据共享 176
8.1　联邦学习简述 177
8.1.1 联邦学习的定义 177
8.1.2 联邦学习的分类 178
8.1.3 典型的联邦学习训练过程 179
8.2　联邦学习的安全问题 182
8.2.1 针对服务端的攻击与防御 183
8.2.2 针对客户端的攻击与防御 187
8.2.3 联邦学习的其他安全问题 189
8.3　密态环境下的联邦学习 190
8.4　总结与展望 193
习题 194
参考文献 195
第9章 大模型安全 196
9.1　安全问题简述 197
9.2　越狱攻击与提示词注入攻击 201
9.2.1 越狱攻击的概念 201
9.2.2 典型的越狱攻击方法 202
9.2.3 提示词注入攻击 205
9.3　大模型幻觉 209
9.3.1 幻觉的概念 210
9.3.2 幻觉的成因 211
9.3.3 幻觉的检测 212
9.3.4 幻觉的缓解 216
9.4　大模型生成内容水印 217
9.4.1 水印的概念 217
9.4.2 水印的植入与验证 219
9.5　智能体安全 224
9.5.1 Python解释器智能体 225
9.5.2 其他智能体安全风险 227
9.6　总结与展望 228
习题 229
参考文献 230