《大数据分析与应用(微课版)》紧跟大数据技术的最新发展，采用简明易懂的语言和逐步深入的案例，系统地讲解了大数据分析的相关知识。《大数据分析与应用(微课版)》的主要内容包括：大数据分析概论、需求分析与指标体系构建、大数据存储与管理、云计算与大数据的集成应用、网页结构分析与Python编程基础、大数据采集、大数据预处理、大数据与机器学习基础、大数据可视化、金融客户数据案例分析以及交通大数据综合案例分析。书中通过常见的数据分析工具，详细展示了大数据分析技术在多个实际案例中的应用。
《大数据分析与应用(微课版)》适合高等院校商务数据分析、大数据技术与应用、人工智能等相关专业本科生，以及高等职业院校相关专业的学生阅读。同时，它也适合作为数据分析爱好者的自学指南和参考手册。

1. 读者对象。《大数据分析与应用(微课版)》面向数据分析初学者，大学本科生及高职学生，也可以面向数据分析行业从业人员，数据分析师、业务分析师、数据工程师和市场营销人员等。《大数据分析与应用(微课版)》适合对大数据技术有所了解并想要将大数据技术应用于本职工作的读者阅读。
2. 《大数据分析与应用(微课版)》内容。按照数据分析的完整流程，从大数据分析技术与商务数据分析的角度，运用丰富的案例，涵盖数据分析的整个流程，包括数据采集、处理、分析和可视化等。
3. 《大数据分析与应用(微课版)》特色
（1）《大数据分析与应用(微课版)》特色在于，通过化繁为简、化难为易，切实解决初学者的困惑，帮助读者克服畏难情绪，引导读者勤于动手、乐于动手。通过多种学习方式的结合，让读者在精心设计的学习流程中打牢基础。
（2）通过抖音、微信公众号等多种渠道，提供微视频配套讲解，让每个知识点理解更容易。
（3）内容系统全面，实例丰富，深入浅出，用实际案例和故事来解释理论，将复杂的概念和算法用简洁的语言和图形进行解释，使得读者可以轻松理解。实战性强，图表精美，资源丰富。

　　随着互联网技术的发展，数据分析已经成为我们日常工作的重要内容。2019年4月，中华人民共和国人力资源和社会保障部等部门发布文件，明确了人工智能工程技术人员等新兴职业的职责和工作内容。2024年2月，人社部、商务部共同发布了商务数据分析师国家职业标准。面向大数据的分析处理能力，正成为新时代数字经济、电子商务等专业人才培养的核心要素。
一、特色内容
　　本书紧跟最新行业发展趋势，全书内容与相关岗位需求密切相关。全书共分为11章，其中，前9章是基础知识，分别介绍：大数据分析概论、需求分析与指标体系构建、大数据存储与管理、云计算与大数据的集成应用、网页结构分析与Python编程基础、大数据采集、大数据预处理、大数据与机器学习基础、大数据可视化；第10章和第11章内容是大数据案例分析。本书讲解循序渐进，通过通俗易懂的语言和操作案例，帮助读者快速掌握大数据分析的相关知识。
二、本书特点
　　(1) 在知识点讲解和案例设置上，本书充分考虑数据分析的系统性，注重数据分析方法的融合。本书按照大数据分析的基本流程，各个环节层层相扣，帮助读者快速掌握相关知识。在案例分析环节，与国家最新职业标准相结合，注重提升数据素养和解决实际问题。
　　(2) 在工具选择上，本书充分考虑管理学科的特点，结合商业分析的典型应用场景，使用通俗易懂的语言，通过Excel、Python、MySQL等工具的结合使用，将知识点与日常学习紧密相连。
　　(3) 在体例上，本书注重数据分析的方法应用。每个章节都设置了思考目标，按照课前自学 课中实训 课后拓展的结构模式，提供案例数据，完成驱动式任务。通过案例操作实训，倡导分享式卡片式学习方式，帮助读者体验数据分析的乐趣。
　　(4) 在配套资源上，本书提供了配套PPT课件和教学视频，方便教学和学习。
三、读者对象
　　本书适合高等院校大数据技术与应用、商务数据分析、人工智能及数字经济相关专业的本科生，高等职业院校相关专业学生阅读，也可以作为数据分析爱好者学习大数据分析的参考书。
　　本书由武昌理工学院彭文波老师负责组织与编写。广州物联网研究院副总工程师、前华为大数据工程师、阿里云云计算ACP专家、MongoDB中文社区联席主席郭远威参与编写，并对全文进行了审读。本书是湖北省高校人文社会科学重点研究基地湖北教师教育研究中心2024年度开放课题一般项目《生成式人工智能对教师专业发展的影响研究》(jsjy202407)和2024年武昌理工学院科研发展基金项目《数智化时代应用型本科高校教师数字素养提升路径探究》(项目编号：X2024YS002)的研究成果，也是2025年中国商业会计学会产教融合分会课题《产教融合背景下会计专业教师数智能力提升研究》(项目编号：CBAICJ202505063)的阶段性研究成果。
　　本书编写过程中，参考了相关网站或文献资料，在此对所有原作者表示衷心的感谢。由于大数据技术发展日新月异，书中难免存在不足之处，恳请广大读者批评指正。
　　
　　
　　　编 者

彭文波，中南大学计算机学院教师，有丰富的计算机图书撰稿策划经验，先后出版《修炼之道：互联网产品从设计到运营》、《互联网产品之美》等图书，在各类IT类刊物发表文章100多篇。

第1章 大数据分析概论 1
课前自学 2
一、数据及其分类 2
二、大数据的概念 3
三、大数据产生的原因 4
四、大数据的作用 5
五、大数据对科学研究的影响 6
课中实训：岗位数据采集与分析 7
任务1：人才供需现状分析 8
任务2：数据采集与处理 9
任务3：词频统计与分析 11
课后拓展 13
本章小结 16
第2章 需求分析与指标体系构建 17
课前自学 18
一、数据分析的基本流程 18
二、数据分析指标体系 19
三、基础数据分析方法 22
四、描述统计 25
课中实训 26
任务1：城市跨境电商指标体系设计
(以W市为例) 26
任务2：设置数据分析工具库 28
任务3：跨境电商数据描述统计 30
课后拓展 32
一、常见的数据分析方法论模型 32
二、数据分析指数 35
本章小结 37
第3章 大数据存储与管理 38
课前自学 39
一、数据库基础知识 39
二、SQL查询基础知识 40
课中实训 41
任务1：MySQL数据库安装与
配置 41
任务2：使用Navicat Premium
管理MySQL数据库 45
任务3：数据表结构设计 45
任务4：数据库查询操作 49
课后拓展 51
一、MongoDB的安装与数据模型
介绍 51
二、HBase数据库简介 52
本章小结 52
第4章 云计算与大数据的集成应用 53
课前自学 54
一、云计算的概念 54
二、云计算概念模型的特点 55
三、云计算的部署模式 56
四、云计算的服务模式(IaaS、PaaS
和SaaS) 59
五、云计算与大数据架构：
以Google为例 60
课中实训 62
任务1：配置单台虚拟机环境 63
任务2：安装CentOS 7操作系统
并配置网络 66
任务3：克隆并配置多台虚拟机 69
任务4：Linux的常见操作 72
任务5：设置主机之间的免密登录 74
任务6：在Liunx平台下安装JAVA
运行环境 75
任务7：配置hadoop环境 77
任务8：基于HDFS的MapReduce
词频数据分析 83
课后拓展 86
本章小结 91
第5章 网页结构分析与Python编程
基础 92
课前自学 93
一、网页的基本结构 93
二、Python简介与特点 95
三、Python基础语法 96
课中实训 97
任务1：Python开发环境配置 97
任务2：Python基础案例 100
任务3：网页数据的请求与响应 103
任务4：使用Python连接MySQL
数据库 106
课后拓展 108
本章小结 109
第6章 大数据采集 110
课前自学 111
一、大数据采集技术 111
二、Scrapy框架简介 112
课中实训 113
任务1：安装并启动Scrapy爬虫
框架 113
任务2：通过XPath对网页进行
解析 115
任务3：获取电商平台类目信息 119
课后拓展 120
本章小结 121
第7章 大数据预处理 122
课前自学 123
一、数据处理过程中的常见问题
及原因 123
二、数据预处理的流程与方法 124
课中实训 128
任务1：使用Excel进行数据
预处理 128
任务2：使用OpenRefine进行数据
预处理 130
任务3：使用Python进行数据
预处理 137
课后拓展 140
一、读取数据文件的常用方法 140
二、Python中常见的数据预处理
函数 141
本章小结 141
第8章 大数据与机器学习基础 142
课前自学 143
一、大数据分析方法与方法论 143
二、数据分析与数据挖掘相关
概念 144
三、机器学习：让系统更聪明 146
课中实训 152
任务1：Python机器学习库配置 152
任务2：基于跨境电商数据的特征
分析 155
任务3：基于Apriori算法的金融
产品组合 158
课后拓展 160
本章小结 162
第9章 大数据可视化 163
课前自学 164
一、数据可视化基础 164
二、典型图表介绍 165
课中实训 171
任务1：基于ECHARTS和Excel的
图表可视化 171
任务2：使用Matplotlib绘制
折线图 173
任务3：使用Matplotlib绘制
散点图 175
任务4：读取数据并绘制散点图 176
任务5：对短视频数据进行探索性
分析 177
课后拓展 184
本章小结 185
第10章 金融客户数据案例分析 186
课前自学 187
一、需求分析 187
二、数据挖掘分析相关技术 188
课中实训 189
任务1：探索性分析 189
任务2：数据预处理：判断异常值
和降维处理 189
任务3：K最近邻算法分析 193
任务4：逻辑回归算法分析 194
任务5：决策树算法分析 196
课后拓展 199
本章小结 200
第11章 交通大数据综合案例分析 201
课前自学 202
一、数据集类型 202
二、交通大数据处理需求分析 203
课中实训 204
任务1：数据分析流程设计 204
任务2：数据预处理 208
任务3：模型训练与数据预测 212
任务4：数据输出 214
课后拓展 215
本章小结 218
参考文献 219