本书为大数据、人工智能、软件技术、电子商务等专业学生的教材。随着数据要素成为新质生产力的核心驱动力，数据挖掘技术正深度赋能商贸流通、智能制造及绿色低碳等多元领域。本书以掌握一定的Python语言基础为前提，通过10个典型的行业项目，其内容涵盖脏数据治理、回归预测、聚类画像、循环神经网络序列预测及工业视觉识别，实现从数据清洗到Web看板交付的全链路闭环与软硬一体化。本书注重理实一体与思政融入。作为微课版教材，本书配有微课视频、源代码及行业脱敏数据集等丰富的数字化资源。

陈清华，女，博士，教授、高级工程师，从事计算机研发及教学工作15余年，主要从事方向为数据挖掘、人工智能和群智感知，是"大数据技术”国家级职业教育创新教学团队核心成员，温州市"特支计划”科技创新青年拔尖人才、高层次D类人才，金砖国家职业技能大赛区块链技术赛项全国优秀专家。

项目1 用餐数据异常分析 1
任务1 用餐数据集成与处理 4
1.1.1 数据挖掘的基本概念 8
1.1.2 特征工程 9
1.1.3 读取CSV数据并集成 10
1.1.4 数据映射 11
1.1.5 数据类型转换 11
任务2 用餐数据重复值检测与处理 11
1.2.1 检测重复值 13
1.2.2 删除重复值 13
任务3 用餐数据缺失值检测与处理 14
1.3.1 检测缺失值 16
1.3.2 处理缺失值 16
任务4 用餐数据异常值检测与处理 16
1.4.1 检测异常值 20
1.4.2 绘制散点图 21
1.4.3 绘制直方图 21
1.4.4 绘制箱形图 21
1.4.5 处理异常值 22
拓展实训：电影数据加工与处理 22
项目考核 24
项目2 碳排放数据多维分析 27
任务1 对碳排放数据进行分组分析 31
2.1.1 读取Excel文件数据 35
2.1.2 常用数据分析方法 36
2.1.3 分组分析的基本概念 36
2.1.4 描述性统计分析指标 37
任务2 对碳排放数据进行分布分析 37
2.2.1 分布分析的基本概念 40
2.2.2 数据分箱 40
2.2.3 可视化包 41
任务3 对碳排放数据进行交叉分析 41
2.3.1 交叉分析的基本概念 43
2.3.2 数据透视表 44
2.3.3 交叉表 44
2.3.4 热力图 45
任务4 对碳排放数据进行结构分析 45
2.4.1 结构分析的基本概念 48
2.4.2 绘制饼图 48
任务5 对碳排放数据进行相关分析 49
2.5.1 相关分析的基本概念 51
2.5.2 相关分析 52
拓展实训：数据分析方法的应用 52
项目考核 54
项目3 电影数据回归分析 56
任务1 使用一元线性回归分析方法对日均票房进行预测 59
3.1.1 回归分析 59
3.1.2 一元线性回归 61
3.1.3 Sklearn简介 64
3.1.4 归一化处理 67
3.1.5 数据集的切分 69
任务2 使用多项式回归分析方法对日均票房进行预测 72
3.2.1 多项式回归 72
3.2.2 degree参数的设置 75
任务3 使用多元线性回归分析方法对电影评分进行预测 78
3.3.1 标签映射 80
3.3.2 岭回归 81
3.3.3 alpha参数的设置 84
3.3.4 回归模型评估的常用指标 84
拓展实训：回归分析方法的应用 85
项目考核 86
项目4 性别与肥胖程度分类分析 89
任务1 使用逻辑回归实现性别判定 93
4.1.1 机器学习 97
4.1.2 监督学习 98
4.1.3 逻辑回归 99
4.1.4 Sklearn中的LogisticRegression()函数 100
任务2 使用朴素贝叶斯实现性别判定 101
4.2.1 朴素贝叶斯分类 103
4.2.2 Sklearn中朴素贝叶斯的实现 105
4.2.3 Sklearn中的GaussianNB()函数 105
4.2.4 Sklearn中的MultinomialNB()函数 105
任务3 使用决策树实现性别判定 106
4.3.1 决策树 109
4.3.2 Sklearn中的DecisionTreeClassifier()函数 109
4.3.3 分类模型常用评估指标 110
4.3.4 Sklearn中的分类模型评估方法 111
4.3.5 欠拟合与过拟合 111
任务4 使用支持向量机实现性别判定 112
4.4.1 支持向量机 114
4.4.2 Sklearn中支持向量机的实现 115
4.4.3 Sklearn中的SVC()函数 115
任务5 使用支持向量机实现肥胖程度分类 116
4.5.1 核函数的基本概念 119
4.5.2 多项式核函数的使用 120
拓展实训：肥胖程度分类分析 121
项目考核 122
项目5 鸢尾花多分类分析 124
任务1 使用k近邻实现鸢尾花的分类 128
5.1.1 k近邻 131
5.1.2 Sklearn中的KNeighborsClassifier()函数 132
任务2 使用随机森林实现鸢尾花的分类 133
5.2.1 集成学习 134
5.2.2 随机森林 135
5.2.3 Sklearn中的RandomForestClassifier()函数 136
任务3 使用TensorFlow设计神经网络实现鸢尾花的分类 137
5.3.1 人工神经网络 140
5.3.2 认识TensorFlow 142
5.3.3 神经网络参数优化 143
任务4 使用多层感知机实现鸢尾花的分类 144
5.4.1 神经网络的基本原理 146
5.4.2 多层感知机 147
5.4.3 Sklearn中的MLPClassifier()函数 147
拓展实训：回归与分类的应用 148
项目考核 150
项目6 观影用户聚类分析 152
任务1 使用DBSCAN确定聚类的质心个数 155
6.1.1 无监督学习 159
6.1.2 聚类的基本概念 160
6.1.3 DBSCAN 161
6.1.4 Sklearn中的DBSCAN()函数 162
任务2 使用k-Means对观影用户进行聚类分析 162
6.2.1 k-Means的基本概念 165
6.2.2 k-Means的特点 166
6.2.3 Sklearn中的KMeans()函数 167
拓展实训：根据身高、体重和性别对用户进行聚类分析 168
项目考核 169
项目7 超市零售数据关联规则挖掘 171
任务1 对超市零售数据进行预处理 175
任务2 使用Apriori算法实现超市零售数据关联规则挖掘 177
7.2.1 关联规则挖掘 180
7.2.2 购物篮模型 182
7.2.3 频繁项集 182
7.2.4 关联规则 183
7.2.5 Apriori算法 184
7.2.6 强关联规则 185
任务3 使用Apyori库实现超市零售数据关联规则挖掘 187
7.3.1 Apyori库 188
7.3.2 Apriori算法的优缺点 189
拓展实训：论文作者关联规则挖掘 189
项目考核 190
项目8 人体行为识别应用 193
任务1 使用卷积神经网络识别人体行为 197
8.1.1 深度学习 201
8.1.2 卷积神经网络 202
8.1.3 Keras简介 203
8.1.4 行为数据获取与特征分析 203
8.1.5 Keras中的卷积层与池化层实现 205
任务2 使用循环神经网络识别人体行为 206
8.2.1 循环神经网络 208
8.2.2 长短期记忆网络 210
8.2.3 Keras中的LSTM()函数 210
拓展实训：电影评论数据分析应用 211
项目考核 213
项目9 智能产线应用 214
任务1 数据采集环境搭建 217
9.1.1 数控机床 220
9.1.2 工业相机重要参数 222
9.1.3 工业互联网云端控制系统的安装与测试 223
任务2 工件图像数据采集与增强 226
9.2.1 智能制造行业数据采集 231
9.2.2 智能产线的基本概念 231
9.2.3 机器视觉的基本概念 231
9.2.4 计算机视觉的基本概念 232
9.2.5 图像增广技术 235
任务3 工件图像智能分类分析 236
任务4 误差自动补偿数据分析 239
任务5 联调与自动化生产验证 243
拓展实训：复杂工件分拣与调参应用 245
项目考核 246
项目10 数据挖掘综合看板实战 249
任务1 搭建看板基础架构与多维KPI展示 252
任务2 交互式用户聚类特征画像展示 256
任务3 销量趋势序列预测应用 260
任务4 “模拟决策”预测模拟器应用 263
拓展实训：电信客户价值分析与流失预警驾驶舱 267
项目考核 268
附录A 本书使用的工具包 270
参考文献 271