本书注重数据分析的基本原理和方法的阐述,借助Python语言对相关内容进行编程实现,并利用项目驱动的方式将数据分析方法应用于图像处理等领域。
本书是为了配合基于Python项目驱动的数据分析教学模式而编写的,主要内容包括绪论、数据的预处理与描述性分析、非参数秩方法、回归模型、主成分分析、因子分析、分类模型和聚类模型。同时,包含图像修复、图像的直方图处理、基于非参数秩方法的视频关键帧提取、基于Logistic回归的视频火焰检测、主成分分析在人脸识别中的应用、基于因子分析的图像边缘检测、交通流状态识别,以及基于聚类的图像分割和复杂网络社团检测等项目。这样的编排既保持了理论的严谨性与完整性,又延伸了原理和方法的应用。每章后的二维码链接了该章的程序代码及图片,供读者参考使用。
更多科学出版社服务,请扫码获取。
戴芳,硕士生导师,陕西省工业与应用数学学会常务理事,中国商业统计学会理事,陕西省教育考试与评价研究会理事,美国宾夕法尼亚州立大学访问学者。1989年本科毕业于中山大学应用数学专业,2001年硕士毕业于西安理工大学应用数学专业,2008年博士毕业于西安交通大学控制科学与工程学科。主要研究方向为复杂网络、图像处理与计算机视觉。主持国家重大研究计划培育项目1项、国家自然科学基金面上项目2项,发表学术论文50余篇,出版教材1部。2012年获陕西省教学成果一等奖1项(第三完成人),2018年获陕西省优秀教材二等奖1项(排名第二),2021年获全国大学生数学建模竞赛陕西赛区“优秀指导教师”, 2022年获陕西省教学成果二等奖1项(第二完成人)。无
目录
前言
第1章 绪论 1
1.1 数据与数据类型 1
1.2 数据分析概述 2
1.3 数据分析的发展历程 3
1.4 数据分析的应用 7
1.5 本书的结构与学习路径 8
1.5.1 章节安排 8
1.5.2 学习路径建议 9
第2章 数据的预处理与描述性分析 11
2.1 数据的预处理 11
2.1.1 缺失值处理 11
2.1.2 离群值检测 16
2.2 数据的描述性分析 19
2.2.1 数据的数字特征 19
2.2.2 数据的可视化 21
2.2.3 分布拟合检验 27
2.2.4 相关性分析 32
2.3 应用实例 36
2.3.1 图像修复 36
2.3.2 图像的直方图 37
习题 39
第3章 非参数秩方法 42
3.1 两种处理方法比较的秩检验 42
3.1.1 随机分组的两种处理方法的比较 42
3.1.2 成对分组设计的两种处理方法的比较 48
3.2 多种处理方法比较的秩检验 52
3.2.1 随机分组的多种处理方法的比较 52
3.2.2 分组设计的多种处理方法的比较 54
3.3 基于非参数秩检验的视频关键帧提取 58
习题 62
第4章 回归模型 65
4.1 线性回归模型 65
4.1.1 线性回归模型及其矩阵表示 65
4.1.2 线性回归模型的参数估计 66
4.1.3 线性回归模型的假设检验 68
4.1.4 预测 71
4.2 回归诊断 74
4.2.1 残差分析 74
4.2.2 多重共线性诊断 77
4.3 Logistic回归模型 81
4.3.1 Logistic回归模型的建立 81
4.3.2 参数的极大似然估计 82
4.3.3 Logistic回归模型的统计推断 84
4.4 面向监控视频的火焰检测 88
习题 90
第5章 主成分分析 93
5.1 主成分分析的基本思想 93
5.2 主成分的定义 94
5.3 主成分的求法 95
5.4 主成分的个数 97
5.5 主成分分析的适用性检验 98
5.6 主成分在人脸识别中的应用 103
习题 104
第6章 因子分析 106
6.1 因子分析模型 106
6.2 正交因子模型 108
6.2.1 正交因子模型的性质 109
6.2.2 因子载荷矩阵相关量的统计意义 110
6.3 因子分析的适用性检验 111
6.4 参数估计方法 113
6.4.1 最小残差法 113
6.4.2 极大似然法 114
6.4.3 主成分法 115
6.5 因子旋转 118
6.5.1 最大方差旋转 119
6.5.2 Promax旋转 120
6.6 因子得分 122
6.7 基于因子分析的图像边缘检测 124
习题 129
第7章 分类模型 132
7.1 分类模型概述 132
7.2 K近邻 133
7.3 分类准确性评价 135
7.4 贝叶斯分类 139
7.4.1 最大后验概率法 140
7.4.2 最小期望误判代价法 142
7.5 交通流状态识别 145
习题 147
第8章 聚类模型 150
8.1 聚类模型的分类 150
8.2 相似性度量 151
8.2.1 样品间的相似性度量——距离 151
8.2.2 变量间的相似性度量——相似系数 152
8.3 层次聚类 154
8.3.1 凝聚层次聚类的步骤 154
8.3.2 类间距离 154
8.3.3 层次聚类的局限性 165
8.3.4 加权主成分层次聚类 166
8.4 K-Means聚类法 173
8.4.1 K-Means聚类法的步骤 173
8.4.2 K-Means聚类法的影响因素 175
8.5 基于聚类的图像分割 180
8.6 基于聚类的复杂网络社团检测 181
习题 182
参考文献 185