本书紧跟时代、自成一体，用清晰易懂的方式介绍了神经网络机器学习这一重要主题。除了描述这一主题的数学原理及其历史演变，本书还与统计物理的基本方法及科学和工程领域的当前应用有着密切的联系。本书内容紧密围绕完善的本科课程，在使用人工神经网络进行现代机器学习的关键方面，为物理、数学和工程专业的学生提供了基础知识。本书包含大量的练习，扩展并强化了书中的关键概念，能够磨练学生的编程技能。书中内容大量参考当前研究，可以帮助读者详细了解机器学习研究最先进的进展。Bernhard Mehlig是瑞典哥德堡大学复杂系统学教授。他的研究专注于复杂系统的统计物理和流体力学，并在这些领域发表了大量论文。2010年，Bernhard Mehlig因在统计物理学方面取得的出色研究，而被授予久负盛名的戈兰·古斯塔夫森物理学奖。Bernhard Mehlig在查尔姆斯理工大学和哥德堡大学教授机器学习课程的时间超过15年。

瑞典哥德堡大学和查尔姆理工大学教授人工神经网络。他的研究专著于复杂系统的统计物理和流体力学，并在这个阶段发了大量论文。2010年，因为在统计物理学方面取得的出色研究，被授予久负盛名的戈兰*古斯塔夫森物理学奖。目前在查尔姆斯理工大学和哥德堡大学教授机器学习课程超过15年。
郭涛，四川省农业科学院遥感应用研究所智慧农业科学技术中心、遥感监测（粮食安全）研究中心工程师，TIT Lab发起人，主要从事机器学习与模式识别、地理人工智能（GeoAI）与时空大数据挖掘与分析、智能机器人技术和软件工程技术等前沿交叉研究。《复杂性思考：复杂性科学与计算模型》和《神经网络实战》等译者。目前发表学术论文12篇，申请软件著作权12项，参与编写教材3本，译著5本。

第1章 简介 1
1.1 神经网络 5
1.2 McCulloch-Pitts神经元 7
1.3 激活函数 9
1.4 异步更新 10
1.5 总结 11
1.6 扩展 11
第Ⅰ部分 Hopfield网络
第2章 确定性Hopfield网络 15
2.1 模式识别 15
2.2 Hopfield网络和Hebb规则 16
2.3 串扰项 21
2.4 一步误差概率 23
2.5 能量函数 26
2.6 总结 30
2.7 练习 30
第3章 随机Hopfield网络 34
3.1 随机动态 34
3.2 有序参数 35
3.3 平均场理论 37
3.4 关键存储容量 41
3.5 超越平均场理论 47
3.6 相关和非随机模式 49
3.7 总结 50
3.8 扩展 50
3.9 练习 50
第4章 玻尔兹曼分布 52
4.1 随机动态的收敛性 53
4.2 蒙特卡罗模拟 55
4.3 模拟退火 57
4.4 玻尔兹曼机 60
4.5 受限玻尔兹曼机 64
4.6 总结 69
4.7 扩展 70
4.8 练习 70
第Ⅱ部分 监督学习
第5章 感知器 76
5.1 分类问题 77
5.2 迭代学习算法 81
5.3 线性单位的梯度下降 82
5.4 分类能力 84
5.5 多层感知器 87
5.6 总结 90
5.7 扩展 91
5.8 练习 91
第6章 随机梯度下降法 96
6.1 链式法则和误差反向传播 96
6.2 随机梯度下降算法 99
6.3 预处理输入数据 102
6.4 过度拟合和交叉验证 106
6.5 学习率的自适应 108
6.6 总结 110
6.7 扩展 110
6.8 练习 111
第7章 深度学习 114
7.1 有多少隐藏层 114
7.2 消失梯度和爆炸梯度 119
7.3 整流线性单元 125
7.4 残差网络 126
7.5 输出和能量函数 128
7.6 正则化 131
7.6.1 权重衰减 131
7.6.2 修剪 132
7.6.3 退出 136
7.6.4 扩展训练集 136
7.6.5 批量归一化 137
7.7 总结 138
7.8 扩展 138
7.9 练习 139
第8章 卷积网络 141
8.1 卷积层 142
8.2 池化层 144
8.3 学习阅读手写数字 145
8.4 应对输入分布的变形 147
8.5 目标识别的深度学习 149
8.6 总结 151
8.7 扩展 153
8.8 练习 154
第9章 监督递归网络 156
9.1 递归反向传播 157
9.2 时间反向传播 160
9.3 消失梯度 165
9.4 机器翻译的递归网络 167
9.5 储层计算 169
9.6 总结 172
9.7 扩展 172
9.8 练习 173
第Ⅲ部分 无标签学习
第10章 无监督学习 177
10.1 Oja规则 177
10.2 竞争性学习 181
10.3 自组织映射 183
10.4 K-means聚类 189
10.5 径向基函数 191
10.6 自动编码器 194
10.7 总结 198
10.8 扩展 199
10.9 练习 199
第11章 强化学习 204
11.1 关联奖励惩罚算法 207
11.2 时间差异学习 210
11.3 Q学习 213
11.4 总结 220
11.5 扩展 220
11.6 练习 220
参考文献 224










第1章 简介 1
1.1 神经网络 5
1.2 McCulloch-Pitts神经元 7
1.3 激活函数 9
1.4 异步更新 10
1.5 总结 11
1.6 扩展 11
第Ⅰ部分 Hopfield网络
第2章 确定性Hopfield网络 15
2.1 模式识别 15
2.2 Hopfield网络和Hebb规则 16
2.3 串扰项 21
2.4 一步误差概率 23
2.5 能量函数 26
2.6 总结 30
2.7 练习 30
第3章 随机Hopfield网络 34
3.1 随机动态 34
3.2 有序参数 35
3.3 平均场理论 37
3.4 关键存储容量 41
3.5 超越平均场理论 47
3.6 相关和非随机模式 49
3.7 总结 50
3.8 扩展 50
3.9 练习 50
第4章 玻尔兹曼分布 52
4.1 随机动态的收敛性 53
4.2 蒙特卡罗模拟 55
4.3 模拟退火 57
4.4 玻尔兹曼机 60
4.5 受限玻尔兹曼机 64
4.6 总结 69
4.7 扩展 70
4.8 练习 70
第Ⅱ部分 监督学习
第5章 感知器 76
5.1 分类问题 77
5.2 迭代学习算法 81
5.3 线性单位的梯度下降 82
5.4 分类能力 84
5.5 多层感知器 87
5.6 总结 90
5.7 扩展 91
5.8 练习 91
第6章 随机梯度下降法 96
6.1 链式法则和误差反向传播 96
6.2 随机梯度下降算法 99
6.3 预处理输入数据 102
6.4 过度拟合和交叉验证 106
6.5 学习率的自适应 108
6.6 总结 110
6.7 扩展 110
6.8 练习 111
第7章 深度学习 114
7.1 有多少隐藏层 114
7.2 消失梯度和爆炸梯度 119
7.3 整流线性单元 125
7.4 残差网络 126
7.5 输出和能量函数 128
7.6 正则化 131
7.6.1 权重衰减 131
7.6.2 修剪 132
7.6.3 退出 136
7.6.4 扩展训练集 136
7.6.5 批量归一化 137
7.7 总结 138
7.8 扩展 138
7.9 练习 139
第8章 卷积网络 141
8.1 卷积层 142
8.2 池化层 144
8.3 学习阅读手写数字 145
8.4 应对输入分布的变形 147
8.5 目标识别的深度学习 149
8.6 总结 151
8.7 扩展 153
8.8 练习 154
第9章 监督递归网络 156
9.1 递归反向传播 157
9.2 时间反向传播 160
9.3 消失梯度 165
9.4 机器翻译的递归网络 167
9.5 储层计算 169
9.6 总结 172
9.7 扩展 172
9.8 练习 173
第Ⅲ部分 无标签学习
第10章 无监督学习 177
10.1 Oja规则 177
10.2 竞争性学习 181
10.3 自组织映射 183
10.4 K-means聚类 189
10.5 径向基函数 191
10.6 自动编码器 194
10.7 总结 198
10.8 扩展 199
10.9 练习 199
第11章 强化学习 204
11.1 关联奖励惩罚算法 207
11.2 时间差异学习 210
11.3 Q学习 213
11.4 总结 220
11.5 扩展 220
11.6 练习 220
参考文献 224