本书是面向大数据人才培养的高等学校数据科学与大数据技术专业系列教材中的一本，通过把数据思维融入全书各章，并通过 Python 实现相关案例，使抽象的数据思维具体化，从而加深读者对数据的感性认识，提高读者对数据思维的理解能力。本书首先介绍了大数据相关的概念，然后根据数据处理流程的逻辑顺序，对大数据平台和大数据开发进行了深入介绍。考虑到数据的价值化发展趋势，本书也讨论大数据伦理与法规、大数据与人工智能大模型和数据资产与交易流通等内容的讨论。最后给出了基于竞赛的大数据综合案例实践。另外，本书免费提供配套PPT、实验及程序及其讲解视频等基本教学资料。
本书可作为理工类、经管类等专业学生学习大数据知识的基础教材，也可供科技工作者参考。

（1）内容全面，结构合理：每章内容分导读案例、理论知识、应用、习题各部分。
（2）取长补短，讲清原理：力图在通俗易懂讲解理论知识的基础上，丰富实用性案例，清晰、全面地介绍大数据技术与应用知识。
（3）深入介绍数据思维内容。

陈华 青岛市西海岸大数据智库专家，全国高校人工智能与大数据创新联盟理事，山东省大数据研究会理事，现任中国石油大学（华东）数据科学与统计系主任，数据科学与大数据技术专业负责人。目前主要从事地球物理数据处理与分析、多核计算、智能算法等方面的教学和科研工作。先后主持和参与国家自然科学基金、山东省自然科学基金等纵向课题8项和其它横向课题10余项。在国内外期刊发表教学和科研论文30余篇，软件著作权4项，教材4部。

第 1章 大数据概述 1
1.1 数据 1
1.2 大数据 5
1.3 大数据发展历史 8
1.4 大数据研究内容 9
1.5 大数据应用场景与领域 11
第 2章 大数据思维 15
2.1 数据科学 15
2.2 数据全生命周期管理 18
2.3 数据思维 26
2.4 数据范式 28
2.5 大数据思维 29
2.6 常见的大数据思维方式 29
2.7 案例 30
第3章 大数据平台 34
3.1 大数据与云计算关系 34
3.2 Hadoop平台 34
3.2.1 Hadoop简介 34
3.2.2 HDFS工作机制 36
3.2.3 HDFS命令 40
3.2.4 分布式并行计算框架MapReduce 40
3.3 Spark平台 43
3.3.1 Spark 的核心组件 43
3.3.2 Spark工作机制 45
3.3.3 分布式计算模型与方式 46
3.3.4 Hadoop和Spark对比情况 48
第4章 大数据开发 50
4.1 大数据开发流程 50
4.2 需求分析 51
4.3 数据获取 53
4.4 探索性数据分析 59
4.4.1 探索性数据分析概念 59
4.4.2 探索性数据分析理论与技术 59
4.4.3 青岛空气质量探索性数据分析 69
4.5 数据加工 77
4.5.1 数据加工的内容 77
4.5.2 数据清洗 78
4.5.3 数据转换 85
4.5.4 数据整合 98
4.5.5 青岛空气质量数据加工 99
4.6 特征工程 103
4.6.1 特征工程定义 103
4.6.2 特征选择 104
4.6.3 特征提取 108
4.6.4 特征创建 112
4.6.5 特征提取和特征选择、特征创建之间的区别 112
4.6.6 数据不平衡问题 113
4.6.7 青岛空气质量特征处理 117
4.7 数据建模 124
4.7.1 数据分析 125
4.7.2 统计方法 126
4.7.3 机器学习方法 132
4.7.4 青岛空气数据建模 139
4.7.5 大作业 144
第5章 大数据伦理与法规 145
5.1 大数据伦理概念 145
5.2 大数据伦理产生原因 147
5.3 大数据伦理治理 153
5.4 大数据伦理案例：亚马逊AI招聘工具性别歧视事件 157
5.5 大数据伦理案例：明确零工法律定位，规范平台算法管理 161
第6章 大数据与人工智能大模型 166
6.1 人工智能大模型 166
6.2 人工智能大模型的核心技术与训练方法 167
6.3 大数据与人工智能大模型的关系 170
6.4 大数据与人工智能大模型技术发展趋势 171
6.5 人工智能大模型应用领域 172
第7章 数据资产与交易流通 177
7.1 国家政策 177
7.2 数据资产 179
7.3 数据确权 184
7.4 数据资产评估 187
7.5 数据交易 195
7.6 数据流通 196
7.7 可信数据空间 198
第8章 大数据综合案例实践 203
8.1 问题提出 203
8.2 数据处理 204
8.3 数据分析 213
8.4 天气预测 218
附录 225
参考文献 233