机器学习：从公理到算法_于剑，景丽萍_9787302682561

机器学习的主要目的是从有限的数据中学习到知识。而知识的基本单元是概念。借助于概念，人类可以在繁复的思想与多彩的世界之间建立起映射，指认各种对象，发现各种规律，表达各种想法，交流各种观念。一旦缺失相应的概念，人们将无法思考、交流，甚至于无法顺利地生活、学习、工作、医疗、娱乐等。哲学家如卡西尔等甚至认为人类的本质特性是能够使用和创造各种符号概念。因此，如何使机器能够像人一样能够自动发现、运用概念，正是机器学习当前的重要研究内容。本书将集中讨论这个问题。本书借助学于认知科学的研究成果，提出了类的统一表示数学模型，以及与之相关的归类问题的统一数学表示。由此提出了类表示公理，归类公理和归类测试公理。据此，本书分别研究了归类结果分类、归类算法分类、以及归类判据设计原则等诸多问题。并借助于提出的公理模型以统一的方式解释了机器学习中数据降维、密度估计、回归、聚类和分类等问题中常用的归类算法。

机器学习的主要目的是从有限的数据中学习到知识，而知识的基本单元是概念。借助于概念，人类可以在繁复的思想与多彩的世界之间建立起映射，指认各种对象，发现各种规律，表达各种想法，交流各种观念。一旦缺失相应的概念，人们将无法思考、交流，甚至无法顺利地生活、学习、工作、医疗、娱乐等。哲学家卡西尔等甚至认为人类的本质特性是能够使用和创造各种符号概念。因此，如何使机器能够像人一样自动发现、运用概念，正是机器学习的基本研究内容。本书将集中讨论这个问题。
所谓的概念发现，是指从一个给定概念（或者概念集合）的有限外延子集提取对应的概念（或者概念集合）表示，又称归类问题。通过自然进化，人类可以从一个概念（或概念集合）的有限外延子集（有限的对象）中轻松提取概念（或概念集合）自身。对于人类如何处理归类问题，人们已经研究了很多年，发明了许多理论，比如经典概念理论、原型理论、样例理论和知识理论等，积累了很多的研究成果。本书借助认知科学的研究成果，提出了类的统一表示数学模型，以及与之相关的归类问题的统一数学表示。由此提出了类表示公理、归类公理和分类测试公理。据此，本书分别研究了归类结果分类、归类算法分类等诸多问题。特别需要提出的是，本书首次归纳了归类算法设计应该遵循的 4条准则，即类一致性准则、类紧致性准则、类分离性准则和奥卡姆剃刀准则。在理论上，任何机器学习算法的目标函数设计都遵循上述 4条准则的 1条或者数条。
对于具体的机器学习问题，本书依据奥卡姆剃刀准则，按照归类表示从简单到复杂的顺序，重新进行了组织。本书不仅论述了单类问题比多类问题的归类表示简单，聚类问题比分类问题的归类表示简单，单源数据学习比多源数据学习的归类表示简单，而且对于单类问题、多类问题自身的归类表示复杂度也进行了研究。在此基础上，指出单类问题包括密度估计、回归和单类数据降维等，并借助提出的公理框架以统一的方式演绎推出了在密度估计、回归、数据降维、聚类和分类等问题中常用的机器学习算法。
本书中章节的组织结构都是类似的，特别是与具体学习算法有关的章节。每章有一个简短的开篇词。如果该章是学习算法章节，该开篇词用来简要说明本章算法的主要设计思想。如果该章是理论章节，该开篇词说明该理论问题的主要目标。每章结尾有延伸阅读或者讨论，延伸阅读提供更深入的相关阅读文献，讨论说明本章的相关内容与分析或者尚未解决的问题。
作者讲授机器学习已十数年，有感于当前的机器学习算法理论依据过多过杂，同时也一直羡慕欧氏几何从五条公理出发导出所有结论的风格。撰写本书，既是将欧氏几何风格移植到机器学习的一个尝试，更是试图为机器学习与模式识别提供一个统一但又简单的理论视角。总之，机器学习公理化这个问题在本书中提出，也在本书中解决了。

于剑
2017年 3月

第 1 章引言 1
1.1 机器学习的目的：从数据到知识 1
1.2 机器学习的基本框架 2
1.2.1 数据集合与对象特性表示 3
1.2.2 学习判据 4
1.2.3 学习算法 5
1.2.4 评估方法 5
1.3 机器学习思想简论 5
延伸阅读 7
习题 8
参考文献 9
第 2 章归类理论 11
2.1 类表示与类表示公理 13
2.2 归类公理 17
2.3 归类结果分类 20
2.4 归类方法设计准则 22
2.4.1 类一致性准则 23
2.4.2 类紧致性准则 24
2.4.3 类分离性准则 25
2.4.4 奥卡姆剃刀准则 26
讨论 28
延伸阅读 29
习题 30
参考文献 32

第 3 章密度估计 33
3.1 密度估计的参数方法 33
3.1.1 最大似然估计 33
3.1.2 贝叶斯估计 35
3.2 密度估计的非参数方法 39
3.2.1 直方图 39
3.2.2 核密度估计 39
3.2.3 K 近邻密度估计法 40
延伸阅读 40
习题 41
参考文献 41
第 4 章回归 43
4.1 线性回归 43
4.2 岭回归 47
4.3 Lasso 回归 48
讨论 51
习题 52
参考文献 52
第 5 章单类数据降维 55
5.1 主成分分析 56
5.2 非负矩阵分解 58
5.3 字典学习与稀疏表示 59
5.4 局部线性嵌入 61
5.5 多维度尺度分析与等距映射 64
5.6 典型关联分析 66
5.7 随机邻域嵌入及其扩展 68
5.7.1 随机邻域嵌入 68
5.7.2 t-SNE 70
讨论 71
习题 71
参考文献 72

第 6 章聚类理论 73
6.1 聚类问题表示及相关定义 73
6.2 聚类算法设计准则 74
6.2.1 类紧致性准则和聚类不等式 74
6.2.2 类分离性准则和重合类非稳定假设 76
6.2.3 类一致性准则和迭代型聚类算法 77
6.3 聚类有效性 77
6.3.1 外部方法 77
6.3.2 内蕴方法 79
延伸阅读 80
习题 81
参考文献 81
第 7 章聚类算法 85
7.1 样例理论：图聚类算法 85
7.1.1 层次聚类算法 86
7.1.2 HB 聚类算法 88
7.1.3 SATB 聚类算法 90
7.2 原型理论：点原型聚类算法 92
7.2.1 C 均值算法 93
7.2.2 模糊 C 均值 95
7.2.3 最大熵 C 均值算法 97
7.3 基于密度估计的聚类算法 99
7.3.1 基于参数密度估计的聚类算法 99
7.3.2 基于无参数密度估计的聚类算法 107
延伸阅读 117
习题 118
参考文献 118
第 8 章分类理论 121
8.1 分类及相关定义 121
8.2 从归类理论到经典分类理论 122
8.2.1 PAC 理论 123
8.2.2 统计学习理论 125

8.3 分类测试公理 128
8.4 分类性能评估 129
讨论 130
习题 131
参考文献 131
第 9 章基于单类的分类算法：神经网络 133
9.1 分类问题的回归表示 133
9.2 人工神经网络 134
9.2.1 人工神经网络简介 134
9.2.2 前馈神经网络 136
9.3 从参数密度估计到受限玻耳兹曼机 141
9.4 深度学习 143
9.4.1 自编码器 144
9.4.2 卷积神经网络 145
9.4.3 Transformer 147
讨论 149
习题 150
参考文献 151
第 10 章 K 近邻分类模型 155
10.1 K 近邻算法 156
10.1.1 K 近邻算法问题表示 156
10.1.2 K 近邻分类算法 157
10.1.3 K 近邻分类算法的理论错误率 158
10.2 距离加权最近邻算法 159
10.3 K 近邻算法加速策略 160
10.4 kd 树 161
10.5 K 近邻算法中的参数问题 162
延伸阅读 163
习题 164
参考文献 164
第 11 章线性分类模型 165
11.1 判别函数和判别模型 165

11.2 线性判别函数 166
11.3 线性感知机算法 169
11.3.1 感知机数据表示 169
11.3.2 感知机算法的归类判据 170
11.3.3 感知机分类算法 171
11.4 支持向量机 174
11.4.1 线性可分支持向量机 174
11.4.2 近似线性可分支持向量机 177
11.4.3 多类分类问题 180
讨论 182
习题 183
参考文献 184
第 12 章对数线性分类模型 185
12.1 Softmax 回归 185
12.2 Logistic 回归 188
讨论 190
习题 191
参考文献 191
第 13 章贝叶斯决策 193
13.1 贝叶斯分类器 193
13.2 朴素贝叶斯分类 194
13.2.1 最大似然估计 196
13.2.2 贝叶斯估计 199
13.3 最小化风险分类 201
13.4 效用最大化分类 203
讨论 203
习题 204
参考文献 204
第 14 章决策树 205
14.1 决策树的类表示 205
14.2 信息增益与 ID3 算法 210
14.3 增益比率与 C4.5 算法 212

14.4 Gini 指数与 CART 算法 213
14.5 决策树的剪枝 214
讨论 215
习题 215
参考文献 216
第 15 章多类数据降维 217
15.1 有监督特征选择模型 217
15.1.1 过滤式特征选择 218
15.1.2 包裹式特征选择 219
15.1.3 嵌入式特征选择 219
15.2 有监督特征提取模型 220
15.2.1 线性判别分析 220
15.2.2 二分类线性判别分析问题 220
15.2.3 二分类线性判别分析 221
15.2.4 二分类线性判别分析优化算法 223
15.2.5 多分类线性判别分析 223
延伸阅读 225
习题 225
参考文献 225
第 16 章多类数据升维：核方法 227
16.1 核方法 227
16.2 非线性支持向量机 228
16.2.1 特征空间 228
16.2.2 核函数 228
16.2.3 常用核函数 230
16.2.4 非线性支持向量机 230
16.3 多核方法 231
讨论 233
习题 233
参考文献 234
第 17 章多源数据学习 235
17.1 多源数据学习的分类 235

17.2 单类多源数据学习 235
17.2.1 完整视角下的单类多源数据学习 236
17.2.2 不完整视角下的单类多源数据学习 238
17.3 多类多源数据学习 239
17.4 多源数据学习中的基本假设 240
讨论 240
习题 241
参考文献 241
后记 243
写在《机器学习：从公理到算法》第 4 次印刷之后 247
写在《机器学习：从公理到算法》第 5 次印刷之后 249
索引 251

你还可能感兴趣

我要评论