本书全面阐述了大数据的内涵与特征、体系架构以及所涉及关键技术。全书共分7章，内容包括大数据概论、大数据存储、大数据处理、大数据分析、大数据可视化、大数据应用和大数据发展趋势与展望，每章内容都与主流技术和典型案例紧密结合，以便读者对大数据及其关键技术有更好的了解和掌握。 本书适合作为高等院校数据科学与大数据技术、计算机、软件工程、电子信息等相关专业以及创新创业或素质教育的大数据课程教材，也可作为其他读者深入了解大数据技术的参考用书。

本书紧紧围绕大数据技术这一中心，以浅显易懂的语言详细介绍了大数据的基本特征、体系结构、相关技术及其应用领域，做到由浅入深、环环紧扣

本书全面阐述了大数据的内涵与特征、体系架构以及所涉及关键技术。全书共分7章，内容包括大数据概论、大数据存储、大数据处理、大数据分析、大数据可视化、大数据应用和大数据发展趋势与展望，每章内容都与主流技术和典型案例紧密结合，以便读者对大数据及其关键技术有更好的了解和掌握。

本书适合作为高等院校数据科学与大数据技术、计算机、软件工程、电子信息等相关专业以及创新创业或素质教育的大数据课程教材，也可作为其他读者深入了解大数据技术的参考用书。

"

"如今大数据已被提升为国家战略并写进政府工作报告，相信该战略的实施将对各行各业产生深远的影响，同时会触发社会思维的新变革。大数据技术的应用战略落地生根，除政府政策支持外更需要大量的人才资源作为后盾。面对新需求，高等院校作为人才培养主阵地，将义不容辞地为普及相关技术知识作出应有的贡献，本书正是出于此目的而编写。

本书在结构安排与内容撰写时遵循教学规律，考虑读者对象特点，紧紧围绕大数据技术这一中心，以浅显易懂的语言详细介绍了大数据的基本特征、体系结构、相关技术及其应用领域，做到由浅入深、环环紧扣。章节中结合案例与典型应用帮助读者增强对大数据技术的感性认识，了解大数据对未来学习、生活、工作与社会发展的重要性，理解构建大数据应用系统所需的技术、方法。

本书共分为7章，较全面地阐述分析了大数据的内涵、体系结构以及所涉及的相关支撑技术。第1章主要分析大数据提出的背景及内涵特征，并基于大数据的来源分析了大数据系统结构与主要相关技术；第2章介绍了大数据存储相关技术的概念与原理，包括传统大数据存储系统的3种架构、分布式文件系统（HDFS）、NoSQL数据库、分布式数据库（HBase）以及NewSQL数据库技术；第3章主要介绍了目前大数据处理主流技术和平台以及Hadoop MapReduce并行处理和编程技术；第4章主要介绍了大数据分析的特点、类型、流程及大数据分析的各种方法和主要应用领域；第5章主要阐述了大数据可视化技术的基本概念、可视化流程、可视化编码、可视化设计以及大数据可视化的一些软件和工具；第6章主要介绍了大数据在互联网行业、医疗、交通、自动问答等领域的具体应用；第7章主要介绍了大数据技术在安全与隐私保护、数据共享和数据科学等方面存在的挑战与发展趋势。

本书由周鸣争、陶皖主编，杨丹、李臣龙、万家山参与编写。具体编写分工如下：周鸣争编写第1章，李臣龙编写第2、3章，陶皖编写第4、6章，杨丹编写第5章，万家山编写第7章。周鸣争、陶皖负责全书的统稿及定编工作。

由于编者水平有限，书中疏漏与不足之处在所难免，望读者提出意见和建议。

   周鸣争，安徽工程大学

第1章 概论 1

1.1 什么是大数据 1

1.1.1 大数据产生的背景 1

1.1.2 大数据的概念及特征 5

1.2 大数据带来的变革 7

1.3 大数据的价值与挑战 9

1.3.1 大数据的价值 9

1.3.2 大数据时代面临的新挑战 10

1.4 大数据的相关技术 12

1.4.1 大数据存储和管理技术 14

1.4.2 大数据分析技术 20

1.4.3 大数据处理工具与平台 21

1.5 大数据的处理流程 22

1.5.1 数据抽取与集成 22

1.5.2 数据分析 23

1.5.3 数据解释 23

1.5.4 大数据处理模型 24

1.6 大数据的发展机遇 28

习题 29

第2章 大数据存储 30

2.1 大数据存储概述 30

2.2 传统的大数据存储系统 30

2.3 分布式文件系统 33

2.3.1 HDFS相关概念 35

2.3.2 HDFS分布式文件系统的结构 36

2.3.3 HDFS存储原理 37

2.3.4 HDFS数据读/写 41

2.4 NoSQL数据库 43

2.4.1 NoSQL的产生 44

2.4.2 NoSQL与RDBMS 45

2.4.3 NoSQL的分类 46

2.4.4 HBase数据库 47

2.4.5 NoSQL与NewSQL 52

习题 53

第3章 大数据处理 55

3.1 多处理器技术 55

3.2 并行计算 59

3.3 MapReduce并行计算技术 65

3.3.1 MapReduce简介 65

3.3.2 MapReduce编程模型 68

3.3.3 Hadoop MapReduce 1 73

3.3.4 Yarn/MapReduce2 76

3.3.5 MapReduce性能调优 79

习题 82

第4章 大数据分析 83

4.1 大数据分析概述 83

4.1.1 数据分析的原则 84

4.1.2 大数据分析的特点 84

4.1.3 大数据分析路线及流程 85

4.1.4 大数据分析技术 87

4.1.5 大数据分析的难点 90

4.2 大数据分析模型 91

4.2.1 大数据分析模型建立方法 91

4.2.2 分类分析模型 93

4.2.3 关联分析模型 94

4.2.4 聚类分析模型 95

4.3 大数据分析算法 98

4.3.1 大数据算法概述 99

4.3.2 决策树算法简介 101

4.3.3 Apriori算法简介 105

4.3.4 K-Means算法简介 109

4.4 大数据分析应用 111

4.4.1 文本分析 111

4.4.2 情感分析 113

4.4.3 推荐系统 115

4.5 大数据分析常用工具 117

习题 119

第5章 大数据可视化 120

5.1 大数据可视化技术概述 120

5.1.1 数据可视化简史 120

5.1.2 数据可视化的功能 122

5.1.3 大数据可视化简介 123

5.2 大数据可视化技术基础 126

5.2.1 数据可视化流程 126

5.2.2 数据可视化编码 128

5.2.3 数据可视化设计 132

5.3 大数据可视化应用 134

5.3.1 文本可视化 135

5.3.2 社交网络可视化 138

5.3.3 日志数据可视化 140

5.3.4 地理信息可视化 140

5.3.5 数据可视化交互 141

5.4 大数据可视化软件和工具 143

5.4.1 大数据可视化软件分类 143

5.4.2 科学可视化软件和工具 144

5.4.3 可视化分析软件和工具 145

5.4.4 信息可视化软件和工具 147

习题 148

第6章 大数据应用 149

6.1 互联网行业大数据 149

6.2 交通大数据 153

6.3 医疗大数据 159

6.4 问答系统 164

习题 169

第7章 大数据发展趋势与展望 170

7.1 大数据安全与隐私保护 170

7.1.1 数据安全与隐私保护的现状 170

7.1.2 大数据带来的安全挑战 171

7.1.3 大数据安全与隐私保护关键技术 172

7.2 大数据共享 174

7.2.1 大数据共享面临的挑战 174

7.2.2 大数据共享的措施与机制 175

7.3 数据科学 176

7.3.1 数据科学的概念 176

7.3.2 数据分析的难题 176

习题 177

参考文献 178