本书是高等院校本科教材。本书系统阐述了培养复合型数据科学与大数据技术专业人才所需的相关知识，涵盖大数据概述、大数据与新一代信息技术、数据采集、数据存储与管理、数据预处理、数据分析与挖掘、数据可视化、大数据与信息安全、大数据的典型应用共9章内容。其中大数据关键技术的各个章节都配有对应的拓展实践及习题。这些拓展实践均已经过验证，简明易学，逻辑清晰，可操作性强。本书内容新颖，配套资源丰富，既可作为高等院校数据科学与大数据技术专业相关课程的教材，又可供相关技术人员参考。

李小红现任职于广东白云学院大数据与计算机学院数据工程系，担任专任教师。在学术和科研方面成果颇丰，参与多项重点科研和教研项目，如 2022 年度广东省普通高校重点科研平台项目 "低代码平台工程技术开发中心”、广东省教育厅项目 "大数据 + 赋能专业融合的构建与实践探索” ，以及 2023、2024 年度校级数字化教材立项项目 "大数据关键技术与应用”。此外，李小红老师还有蒋雷、朱婷婷、翟敏焕、陈瑜瑾、于美玲等多位来自广东白云学院的不同职称的教师作为合作者，共同参与本书的编写工作，他们在大数据及相关领域具备丰富的教学和实践经验，为教材编写提供了有力支持。

第1章　大数据概述 1
1.1　数据 1
1.1.1　数据的概念 2
1.1.2　数据的表现形式 2
1.1.3　数据的组织形式 3
1.1.4　数据的生命周期 4
1.1.5　数据的价值 4
1.2　大数据时代 5
1.2.1　大数据的概念 5
1.2.2　大数据的数据类型 6
1.2.3　大数据的特征 6
1.2.4　大数据带来的改变 7
1.3　大数据的处理流程 9
1.3.1　数据采集 9
1.3.2　数据预处理 9
1.3.3　数据存储 10
1.3.4　数据分析 10
1.3.5　数据可视化 11
1.3.6　决策与行动 11
1.4　大数据的发展历程 12
1.4.1　数据存储与数据库技术的初期 12
1.4.2　互联网的兴起和数据爆炸 12
1.4.3　大数据概念的正式提出 13
1.4.4　大数据技术的快速发展和应用普及 13
1.4.5　大数据与人工智能、机器学习的结合 13
1.5　大数据时代面临的挑战和机遇 13
1.5.1　挑战 13
1.5.2　机遇 14
1.6　本章小结 14
习题 14
第2章　大数据与新一代信息技术 16
2.1　大数据与人工智能 17
2.1.1　人工智能 17
2.1.2　大数据与人工智能的关系与应用场景 23
2.2　大数据与云计算 25
2.2.1　云计算 25
2.2.2　大数据与云计算的关系和应用场景 30
2.3　大数据与物联网 34
2.3.1　物联网 34
2.3.2　大数据与物联网的关系和应用场景 42
2.4　大数据与区块链 43
2.4.1　区块链 43
2.4.2　大数据与区块链的区别、协同作用和应用场景 48
2.5　本章小结 52
习题 52
第３章　数据采集 54
3.1　大数据采集概述 55
3.1.1 大数据采集的概念 55
3.1.2 大数据采集的类型 55
3.1.3 大数据采集的数据来源 56
3.1.4 大数据采集的策略 57
3.1.5 大数据采集的工具 58
3.2　大数据采集方法 58
3.2.1 大数据采集的通用方法 59
3.2.2　离线采集与实时采集 65
3.3　大数据采集类型 66
3.3.1　分布式消息系统Kafka 67
3.3.2　日志采集系统Flume 70
3.3.3　采集Apache服务器数据 72
3.3.4　采集Tomcat服务器数据 72
3.3.5　埋点数据采集 73
3.4　常见的数据采集问题及注意事项 74
3.4.1　数据采集常见问题 75
3.4.2　数据采集注意事项 75
3.5　数据采集实训——使用八爪鱼进行数据采集 77
3.5.1　采集京东商品列表 77
3.5.2　采集京东商品评价 87
3.6　本章小结 98
习题 98
第４章　数据存储与管理 100
4.1　数据存储概述 100
4.1.1 数据存储的概念 101
4.1.2　传统数据存储与管理技术 101
4.1.3　大数据时代的数据存储与管理技术 103
4.2　分布式存储 104
4.2.1　分布式存储的概念 105
4.2.2　Hadoop 106
4.3　NoSQL数据库 117
4.3.1　NoSQL数据库概述 117
4.3.2　NoSQL数据库的分类 117
4.4　云数据库 120
4.4.1　云数据库概述 120
4.4.2　云数据库的特点 120
4.4.3　云数据库的应用 121
4.5　数据仓库 122
4.5.1　数据仓库概述 122
4.5.2　数据仓库的应用 123
4.6　本章小结 123
习题 124
第５章　数据预处理 125
5.1　数据清洗 126
5.1.1　数据清洗的应用领域 126
5.1.2　数据清洗的实现方式 127
5.1.3　数据清洗的工作内容 128
5.1.4　数据清洗的注意事项 129
5.1.5　数据清洗的基本流程 130
5.1.6　数据清洗的评价指标 131
5.2　数据集成 132
5.2.1　数据集成概述 132
5.2.2　数据集成技术 132
5.2.3　ETL 133
5.3　数据转换 134
5.3.1　数据转换概述 135
5.3.2　平滑处理 136
5.3.3　规范化处理 136
5.4　数据脱敏 137
5.4.1　数据脱敏原则 138
5.4.2　数据脱敏方法 139
5.5　数据预处理实训——使用Kettle进行数据清洗 139
5.5.1　Kettle中的基本概念 140
5.5.2　Kettle的基本功能 141
5.5.3　Kettle的安装 142
5.5.4　使用Kettle进行数据抽取 148
5.5.5　使用Kettle进行数据清洗与转换 153
5.6　本章小结 184
习题 185
第６章　数据分析与挖掘 188
6.1　数据分析概述 189
6.1.1　数据分析的定义 189
6.1.2　数据分析的流程 189
6.1.3　数据分析的方法 191
6.1.4　数据分析的应用案例 197
6.2　数据挖掘概述 197
6.2.1　数据挖掘的定义 198
6.2.2　数据挖掘的基本流程 198
6.2.3　数据挖掘的常用算法和工具 198
6.2.4　数据挖掘的应用 199
6.2.5　数据挖掘的未来发展 200
6.3　数据挖掘的常见算法 200
6.3.1　分类算法 200
6.3.2　聚类算法 203
6.3.3　关联规则挖掘算法 203
6.3.4　回归算法 204
6.4　数据分析与挖掘实训——使用Python实现K-Means聚类 206
6.4.1　K-Means聚类算法 206
6.4.2　加载和探索数据集 206
6.4.3　数据预处理 208
6.4.4　使用K-Means聚类算法进行聚类 210
6.4.5　可视化聚类结果 210
6.4.6　评估聚类结果 212
6.4.7　总结 212
6.5　本章小结 213
习题 214
第７章　数据可视化 216
7.1　数据可视化概述 217
7.1.1　概念 217
7.1.2　数据可视化的作用 219
7.1.3　数据可视化的发展历史及发展趋势 221
7.2　数据可视化的方法 222
7.2.1　数据可视化方法选择原则 222
7.2.2　常用的数据可视化方法 227
7.3　数据可视化的工具 237
7.3.1　拖曳式可视化工具 238
7.3.2　编程可视化库 240
7.3.3　地理数据可视化工具 246
7.3.4　数据可视化工具的选择 247
7.4　数据可视化实训——使用Python实现数据可视化 249
7.4.1　下载并安装Python 249
7.4.2　安装数据可视化库 251
7.4.3　数据可视化案例——Excel 252
7.4.4　数据可视化案例——Matplotlib库 254
7.4.5　数据可视化案例——Seaborn 255
7.4.6　数据可视化案例——pyecharts 259
7.5　本章小结 261
习题 262
第８章　大数据与信息安全 264
8.1 大数据安全概述 264
8.1.1　传统数据安全 265
8.1.2　大数据安全与传统数据安全的不同 266
8.1.3　大数据安全典型案例 267
8.2　大数据带来的安全问题 270
8.2.1　大数据安全问题 270
8.2.2　大数据发展面临的问题 272
8.2.3　大数据安全需求 272
8.2.4　大数据安全的特征 274
8.3　大数据信息安全风险因素识别 277
8.3.1　大数据信息安全问题日益凸显 277
8.3.2　移动互联网/智能手机是个人信息泄露的重要渠道 279
8.3.3　物联网应用的安全问题 281
8.3.4　公民的信息安全意识薄弱带来的信息安全隐患 281
8.4　大数据安全的关键技术 284
8.4.1　身份认证技术 284
8.4.2　数据加密技术 285
8.4.3　访问控制技术 286
8.4.4　数据脱敏技术 286
8.4.5　安全审计 287
8.4.6　数据溯源技术 288
8.4.7　数据分级分类 289
8.4.8　数据备份与恢复技术 290
8.5　大数据安全与政策法规建设 291
8.5.1　国内外大数据安全相关措施 291
8.5.2　树立隐私价值观 292
8.5.3　确定第三方数据的访问权限 293
8.5.4　制定大数据信息安全法律法规 294
8.5.5　大数据时代个人信息的法律保护 295
8.6　本章小结 298
习题 298
第９章　大数据的典型应用 300
9.1　大数据在社交网络领域的应用 300
9.1.1　社交网络数据概述 301
9.1.2　社交网络的关键技术 303
9.1.3　社交网络大数据的应用 304
9.2　大数据在生物医疗领域的应用 308
9.2.1　流行病预测 308
9.2.2　智慧治疗 310
9.2.3　生物信息学 311
9.3　大数据在金融领域的应用 312
9.3.1　金融大数据概述 312
9.3.2　金融大数据的关键技术 314
9.3.3　金融大数据的应用 317
9.4　大数据在交通领域的应用 318
9.4.1　交通大数据概述 318
9.4.2　交通大数据的关键因素 320
9.4.3　交通大数据的应用 321
9.5　本章小结 323
习题 323
参考文献 325