本书介绍统计计算与智能分析基础理论以及基于Python的模型算法实现。全书由13章组成，主要内容有：随机数生成技术；数据探索性分析；特征提取与选择方法；期望算法；Markov链蒙特卡罗方法；重采样技术；重要采样技术；序贯重要性采样；非参数概率密度估计；非参数回归分析；树模型理论；概率图模型；模型性能评价技术。

燕雪峰，男，1974年4月出生，江苏泰兴人。2005年3月于北京理工大学获计算机应用技术专业工学博士。南京航空航天大学计算机科学与技术学院教授，博士生导师，副院长，江苏省六大人才高峰。长期从事面向领域的复杂装备系统工程方法论研究及应用、复杂体系建模与评估工作。承担与本书相关的国家重点研发计划课题、国防基础科研重点项目、装发重点项目和一般项目8项。相关研究发行英文专著一部，近5来在国内外期刊、会议上发表论文30余篇，其中SCI 5篇，CCF会议论文和EI期刊论文10余篇，重要核心论文5篇。先后获国防科工局科技进步奖二等奖、江苏省级教改一等奖。

第 1章 随机数生成技术..............................................................1

1.1标准分布的随机数生成 ....................................................... 1

1.1.1连续型随机变量仿真生成 ...................................................2

1.1.2离散型随机变量仿真生成 ..................................................10

1.2非标准分布的随机数生成 ................................................... 14

1.2.1逆变换法 ............................................................... 14

1.2.2接受-拒绝法与自适应拒绝法 ............................................... 16

1.2.3组合法 ................................................................. 22

1.3随机过程的随机数生成 ......................................................26

1.3.1马尔可夫过程仿真生成....................................................27

1.3.2泊松过程仿真生成 ....................................................... 31

1.3.3维纳过程仿真生成 ....................................................... 35

1.4基于变分自编码器模型的数据生成 .......................................... 36

1.4.1 VAE模型基本思想.......................................................37

1.4.2变分自编码器模型 ....................................................... 37

1.5基于生成式对抗网络的数据生成 .............................................46

1.5.1 GANs的基本原理 ....................................................... 46

1.5.2 GANs理论推导 ......................................................... 48

1.5.3 GANs算法的近优算法 ................................................... 53

1.6习题 ........................................................................ 57
第 2章 探索性数据分析 ............................................................ 61

2.1一维探索性数据分析 ........................................................ 61

2.1.1汇总统计量 ............................................................. 62

2.1.2直方图 ................................................................. 65

2.1.3茎叶图 ................................................................. 66

2.1.4箱线图 ................................................................. 68

2.1.5正态概率图 ............................................................. 70

2.1.6 Q-Q图 .................................................................72

2.2多维探索性数据分析 ........................................................ 75

2.2.1多属性统计量 ........................................................... 75

2.2.2散点图 ................................................................. 77

2.2.3边缘直方图 ............................................................. 83

2.2.4边缘箱形图 ............................................................. 84

2.2.5成对图 ................................................................. 86

2.2.6 Box-Cox线性变换图 ..................................................... 87

2.2.7自相关图和偏自相关图....................................................90

2.2.8交叉相关图 .............................................................94

2.2.9滞后图 ................................................................. 95

2.3习题 ........................................................................ 97
第 3章 特征提取与选择方法 .......................................................100

3.1特征提取方法 ..............................................................100

3.1.1主成分分析 ............................................................ 100

3.1.2因子分析 .............................................................. 109

3.1.3独立分量分析 .......................................................... 115

3.1.4线性判别分析 .......................................................... 125

3.2时间序列的特征提取方法 .................................................. 130

3.2.1 STL分解算法 ..........................................................130

3.2.2经验模态分解 .......................................................... 132

3.2.3奇异谱分析方法 ........................................................ 139

3.2.4小波变换 .............................................................. 143

3.3特征选择方法 ..............................................................160

3.3.1过滤特征选择 .......................................................... 161

3.3.2 Wrapper法 ............................................................163

3.3.3 Embedded法 .......................................................... 166

3.3.4贝叶斯统计和正则化 .................................................... 168

3.4习题 .......................................................................173
第 4章 期望算法..............................................................176

4.1从极大似然估计到 EM算法 ............................................... 176

4.2 EM算法原理与实现 ....................................................... 178

4.2.1 EM算法原理 .......................................................... 178

4.2.2 EM算法 .............................................................. 180

4.3 EM算法应用 .............................................................. 184

4.3.1 K-Means聚类算法 ......................................................184

4.3.2高斯混合模型聚类算法 .................................................. 187

4.3.3 K-Means和 GMM的关系 ............................................... 195

4.4习题 .......................................................................195
第 5章 马尔可夫链蒙特卡罗方法 .................................................. 197

5.1蒙特卡罗方法引入 ......................................................... 197

5.2马尔可夫链蒙特卡罗方法 .................................................. 198

5.3 Metropolis-Hastings采样 .................................................. 200

5.3.1 Metropolis采样算法 .................................................... 200

5.3.2 Metropolis-Hastings采样算法 ............................................ 204

5.3.3多维 Metropolis-Hastings采样算法 ....................................... 207

5.4 Gibbs采样 ................................................................ 209

5.5马尔可夫链蒙特卡罗方法应用 ..............................................213

5.5.1基于 MCMC的贝叶斯统计推断...........................................213

5.5.2可逆跳转 MCMC方法 .................................................. 215

5.6习题 .......................................................................220
第 6章 重采样技术 ................................................................222

6.1刀切法.....................................................................222

6.1.1刀切法基本原理 ........................................................ 222

6.1.2刀切法算法与实现 ...................................................... 225

6.2自助法.....................................................................225

6.2.1自助法基本原理 ........................................................ 225

6.2.2 Rn的统计特性 ......................................................... 229

6.3重采样技术的应用 ......................................................... 230

6.3.1 Bagging算法 .......................................................... 230

6.3.2 Boosting算法 ..........................................................237