本书围绕数据分析与可视化的全流程展开,先讲解数据分析与可视化的理论知识,然后讲解数据分析与可视化的各类技术,最后讲解数据分析与可视化的各类工具,形成完整体系,助力读者掌握从数据找寻到价值输出的全链路能力。本书注重实用性,以当前广泛应用的技术与工具为主体,不仅有对技术的讲解,还有对工具的讲解并添加典型示例,步骤清晰可复现。此外,本书融入 AI 革命带来的技术变革与创新,以确保读者能够快速上手数据分析与可视化。本书既可作为高校信息管理与信息系统、信息资源管理、大数据管理与应用等专业的教材,也可作为数据科学家、运营分析师等数据工作者及爱好者的实操指南和学习参考。
刘晓娟,北京师范大学政府管理学院,教授,信息管理系系主任。担任中国科技情报学会理事、北京市社科信息学会秘书长、全国科学计量学与信息计量学专业委员会委员、中国图书馆学会图书馆学教育委员会委员、Journal of Informetrics编委、《图书情报工作》青年编委
第一篇 理论篇
第1章 数据的“解读”与“呈现” 2
1.1 数据分析:奠定基础 2
1.2 数据可视化:实现表达 2
1.3 二者的关系:相辅相成 2
第2章 数据分析 4
2.1 数据分析的起源与发展 4
2.2 数据分析类型 5
2.3 数据分析方法 6
2.4 数据分析对象 7
2.5 数据分析工具 8
2.6 数据分析流程 9
2.7 数据分析的应用场景 11
第3章 数据可视化 12
3.1 数据可视化的起源与发展 12
3.2 为什么要进行数据可视化 12
3.3 数据可视化原则 14
3.4 数据可视化类型 14
3.5 数据可视化流程 16
3.6 数据可视化工具 17
3.7 数据可视化的应用场景 18
第二篇 技术篇
第4章 数据采集 22
4.1 基于数据源分类的数据 22
4.2 数据采集技术 24
4.2.1 API调用 25
4.2.2 直接下载 29
4.2.3 网络爬虫 29
4.3 数据采集策略 33
4.3.1 时间维度 34
4.3.2 范围维度 34
4.4 数据采集合规与伦理审视 35
第5章 数据预处理 37
5.1 数据清洗 37
5.2 数据转换 39
5.3 数据筛选 40
第6章 统计分析 42
6.1 基本概念 42
6.2 描述性统计分析 43
6.3 相关分析 44
6.4 回归分析 45
6.4.1 回归分析的分类 46
6.4.2 一元线性回归 47
6.4.3 多元线性回归 48
6.5 聚类分析 50
6.5.1 相似性度量 50
6.5.2 聚类规则 51
6.5.3 聚类算法 51
6.6 时间序列分析 54
6.6.1 时间序列的组成要素 54
6.6.2 时间序列预处理 55
6.6.3 时间序列分析方法 55
6.7 统计分析的挑战 56
第7章 文本分析 57
7.1 文本预处理 57
7.1.1 文本预处理的核心目标 57
7.1.2 文本预处理的关键任务 57
7.1.3 文本预处理的实践要点和
工具 58
7.2 特征提取与表示 59
7.2.1 特征提取与表示的
核心目标 60
7.2.2 特征提取与表示方法 60
7.2.3 特征提取与表示的
实践要点和工具 61
7.3 信息抽取 61
7.3.1 信息抽取的核心任务 62
7.3.2 信息抽取方法 63
7.3.3 信息抽取的挑战与
未来发展趋势 64
7.4 情感分析 65
7.4.1 情感分析任务 65
7.4.2 情感分析方法 66
7.4.3 情感分析的实践要点 68
7.5 主题分析 68
7.5.1 主题分析任务 69
7.5.2 主题分析方法 69
第8章 可视化映射 72
8.1 可视化映射的核心要素 72
8.2 可视化映射的分类 72
8.2.1 基于数据类型的映射 72
8.2.2 基于维度的映射 74
8.2.3 基于交互方式的映射 75
8.3 可视化映射的实施流程 76
8.3.1 数据特征分析 76
8.3.2 映射规则设计 76
8.3.3 视觉呈现与优化 77
第9章 统计图表 78
9.1 趋势分析 78
9.1.1 折线图 78
9.1.2 面积图 79
9.2 对比分析 80
9.2.1 柱状图 80
9.2.2 南丁格尔玫瑰图 83
9.2.3 雷达图 84
9.3 结构分析 85
9.3.1 饼图 85
9.3.2 环图 85
9.3.3 矩形树图 86
9.4 分布分析 87
9.4.1 直方图 87
9.4.2 散点图 87
9.4.3 气泡图 88
9.4.4 箱形图 89
9.5 流程分析 89
9.5.1 桑基图 90
9.5.2 漏斗图 90
第10章 时空数据可视化 92
10.1 时空数据可视化基础 92
10.1.1 数据表示方法 92
10.1.2 颜色方案 93
10.1.3 几何变换 94
10.2 时空数据的静态可视化 94
10.2.1 基于空间载体的时间
编码技术 94
10.2.2 时空关联符号化技术 95
10.2.3 矩阵与网格类技术 96
10.2.4 剖面图与轨迹压缩技术 96
10.3 时空数据的动态可视化 97
10.3.1 时间维度的趋势变化 97
10.3.2 空间维度的轨迹转移 101
第11章 网络数据可视化 102
11.1 网络数据可视化基础 102
11.1.1 基本概念与术语 102
11.1.2 网络的性质与度量 103
11.2 核心布局算法 103
11.2.1 力引导布局 104
11.2.2 层次布局 104
11.2.3 环形布局 104
11.2.4 网格布局 104
11.2.5 地理布局 104
11.3 视觉编码与设计 105
11.3.1 节点的编码 105
11.3.2 边的编码 105
11.3.3 降低视觉混乱的策略 106
第12章 文本可视化 107
12.1 面向词汇分布的可视化 107
12.2 面向主题的可视化 108
12.3 面向情感分析的可视化 110
12.4 面向关系的可视化 111
第三篇 工具篇
第13章 工具概览与选择 114
13.1 工具选择原则 114
13.2 常用工具概况 114
13.3 工具应用场景与互补性 115
第14章 Excel 117
14.1 Excel简介 117
14.1.1 Excel的核心定位与
应用场景 117
14.1.2 Excel的功能体系 117
14.2 统计分析 118
14.2.1 描述性分析 119
14.2.2 相关分析 121
14.2.3 回归分析 121
14.3 Excel数据分析示例 128
14.3.1 数据预处理 128
14.3.2 数据透视分析 130
第15章 SPSS 141
15.1 SPSS简介 141
15.1.1 SPSS的核心定位与
应用场景 141
15.1.2 SPSS的功能体系 141
15.2 数据预处理 142
15.3 统计分析 148
15.3.1 描述性分析 149
15.3.2 相关分析 152
15.3.3 回归分析 154
15.3.4 聚类分析 157
15.3.5 时间序列分析 159
第16章 集搜客 163
16.1 集搜客简介 163
16.1.1 集搜客的核心定位与
应用场景 163
16.1.2 集搜客的功能体系 163
16.2 网络数据采集 164
16.2.1 数据源与采集任务 164
16.2.2 采集策略与步骤 165
16.3 文本分析与可视化 169
16.3.1 文本分词 169
16.3.2 关键词提取 172
16.3.3 情感分析 173
第17章 Tableau 175
17.1 Tableau简介 175
17.1.1 Tableau的核心定位与
应用场景 175
17.1.2 Tableau的功能体系 175
17.2 数据连接 177
17.3 数据可视化 181
17.3.1 创建并更改视图 181
17.3.2 使用筛选器和颜色交互 183
17.3.3 使用地理视图处理数据 188
17.3.4 使用条形图解析数据 189
17.3.5 使用仪表板整合数据 193
17.4 Tableau数据可视化示例 196
17.4.1 数据可视化方案 196
17.4.2 创建视图 197
17.4.3 制作仪表板 203
第18章 ECharts 206
18.1 ECharts简介 206
18.1.1 ECharts的核心定位与
应用场景 206
18.1.2 ECharts的功能体系 207
18.2 数据可视化 207
18.2.1 基于模板的方法 208
18.2.2 本地自主配置法 212
18.3 ECharts数据可视化示例 216
18.3.1 数据集 216
18.3.2 数据导入和处理 216
18.3.3 pyecharts数据可视化 219
第19章 Gephi 233
19.1 Gephi简介 233
19.1.1 Gephi的核心定位与
应用场景 233
19.1.2 Gephi的功能体系 233
19.2 数据导入与预处理 234
19.3 统计分析 238
19.3.1 网络概述 238
19.3.2 社区检测 240
19.3.3 节点概述 241
19.3.4 边概述 242
19.4 数据可视化 242
19.4.1 外观设置 242
19.4.2 布局设置 245
19.4.3 过滤设置 247
第20章 Python 251
20.1 Python简介 251
20.1.1 Python的核心定位与
应用场景 251
20.1.2 Python的功能体系 251
20.2 数据采集 252
20.3 文本分析 256
20.3.1 文本预处理 256
20.3.2 特征提取与表示 257
20.3.3 信息抽取 259
20.3.4 情感分析 265
20.3.5 主题分析 267
20.4 Python文本分析示例 270
20.4.1 文本预处理 270
20.4.2 文本分词 271
20.4.3 文本情感分析 272
20.4.4 文本主题分析 275
20.5 Python数据可视化示例 278
20.5.1 数据预处理 278
20.5.2 pyecharts数据可视化 281
第21章 AI工具 288
21.1 AI工具分类 288
21.2 AI工具赋能方案设计 289
21.2.1 原理 289
21.2.2 示例说明 289
21.3 AI工具赋能数据采集 291
21.3.1 原理 291
21.3.2 示例说明 291
21.4 AI工具赋能数据预处理 294
21.4.1 原理 294
21.4.2 示例说明 294
21.5 AI工具赋能数据分析 296
21.5.1 原理 296
21.5.2 示例说明 297
21.6 AI工具赋能数据可视化 298
21.6.1 原理 298
21.6.2 示例说明 299
21.7 AI工具赋能报告输出与
结果解读 302
21.7.1 原理 302
21.7.2 示例说明 302
21.8 AI工具的挑战与发展 303