本书以任务为导向，全面介绍Python数据采集分析与应用技术，包括Python爬虫、招聘网站实习信息采集与分析、商超用户价值聚类分析、天问一号相关事件评论情感类型分类、智慧政务中的问政舆情分析、传感器数据采集、基于YOLOv8的目标检测、智能感知应用。本书可以作为人工智能训练师、大数据应用开发（Python）职业技能等级证书的教学和培训用书，也可以作为高校数据科学与人工智能相关专业的教材，还可以作为数据挖掘爱好者的自学参考书。

王圆，女，副教授，硕士研究生，近年来主要从事大数据、人工智能专业课程的教学，主要授课课程有数据采集技术与应用、Python语言基础等；双师型教师，取得高级大数据分析师证书，有企业项目工作经验。主持省市厅级等各级科研课题6项、发表论文10余篇，主编教材3部，副主编教材7部。曾获广东省高职院校教师教学技能大赛三等奖1次、校级成果奖一等奖1次、校级教学质量优秀9次，校级优秀教师，指导学生参加广东省教育厅主办的技能竞赛获奖10余项。

项目1 Python爬虫 1
学习目标 1
情景描述 2
项目分解 2
项目实施 3
任务1.1 爬取静态网页：获取某企业官网导航栏中的标题和超链接 3
1.1.1 使用Chrome开发者工具查看网页 4
1.1.2 使用Beautiful Soup库解析网页 7
1.1.3 将数据存储至CSV文件 9
任务1.2 爬取动态网页：获取百度首页导航栏中的标题和超链接 10
1.2.1 下载浏览器驱动 10
1.2.2 使用Selenium打开浏览对象并访问页面 11
1.2.3 定位导航栏节点并获取内容 11
1.2.4 将数据存储至MySQL数据库 12
项目总结 13
实训工单 14
项目2 招聘网站实习信息采集与分析 18
学习目标 18
情景描述 19
项目分解 19
项目实施 20
任务2.1 采集数据 20
2.1.1 采集招聘网站中的实习信息 21
2.1.2 保存爬取的数据 24
任务2.2 预处理数据 25
2.2.1 规范化数据 25
2.2.2 清洗数据 29
任务2.3 可视化分析 31
2.3.1 分析岗位需求的分布与趋势 31
2.3.2 分析实习时长与公司规模 35
2.3.3 分析薪资待遇的影响因素 38
项目总结 42
实训工单 42
项目3 商超用户价值聚类分析 47
学习目标 47
情景描述 48
项目分解 48
项目实施 49
任务3.1 数据探索与可视化分析 49
3.1.1 数据质量评估与预处理 49
3.1.2 可视化分析 52
3.1.3 相关性分析 62
任务3.2 构建聚类模型并分析结果 64
3.2.1 筛选与构造建模指标 64
3.2.2 构建与训练聚类模型 66
3.2.3 聚类结果分析 68
项目总结 73
实训工单 73
项目4 天问一号相关事件评论情感类型分类 78
学习目标 78
情景描述 78
项目分解 79
项目实施 80
任务4.1 数据探索与预处理 80
4.1.1 数据探索 81
4.1.2 文本预处理 85
4.1.3 绘制词云图 88
任务4.2 构建情感类型分类模型 92
4.2.1 构建与训练情感分类模型 92
4.2.2 模型评估 97
项目总结 99
实训工单 99
项目5 智慧政务中的问政舆情分析 103
学习目标 103
情景描述 103
项目分解 104
项目实施 105
任务5.1 问政文本探索分析 105
5.1.1 不同留言数据类别的数量分布 106
5.1.2 不同留言数据类别的分布情况 108
任务5.2 问政文本预处理与特征工程 109
5.2.1 数据清洗 109
5.2.2 文本分词与停用词过滤 110
5.2.3 词云图分析 111
5.2.4 词向量提取 115
5.2.5 数据平衡 116
任务5.3 构建与训练问政分类模型 116
5.3.1 定义模型评估指标 117
5.3.2 SVM模型 118
5.3.3 逻辑回归模型 119
项目总结 121
实训工单 121
项目6 传感器数据采集 125
学习目标 125
情景描述 125
项目分解 126
项目实施 126
任务6.1 硬件部署 126
6.1.1 树莓派平台部署 126
6.1.2 传感器选用 141
6.1.3 连接GPIO 143
任务6.2 环境数据采集与展示 145
6.2.1 LED功能开发 145
6.2.2 蜂鸣监测功能开发 149
6.2.3 温湿监测功能开发 152
6.2.4 亮度监测功能开发 158
6.2.5 OLED显示功能开发 162
6.2.6 声音监测功能开发 165
6.2.7 模块整合 168
6.2.8 结果展示 175
项目总结 176
实训工单 176
项目7 基于YOLOv8的目标检测 181
学习目标 181
情景描述 181
项目分解 182
项目实施 183
任务7.1 准备数据 183
7.1.1 创建项目工程结构 184
7.1.2 划分数据集 186
7.1.3 转换数据集格式 188
任务7.2 构建YOLOv8主干网络 190
7.2.1 构建C2F模块 190
7.2.2 构建Bottleneck模块 192
任务7.3 编译与训练网络 194
7.3.1 编写数据集配置文件 194
7.3.2 训练模型 195
任务7.4 评估模型与分析结果 198
7.4.1 分析训练结果 199
7.4.2 评估模型效果 203
项目总结 204
实训工单 205
项目8 智能感知应用 209
学习目标 209
情景描述 209
项目分解 210
项目实施 211
任务8.1 环境感知 211
任务8.2 传感器开发 212
8.2.1 超声波传感器开发 212
8.2.2 摄像传感器开发 217
8.2.3 模块整合 221
任务8.3 模型部署 223
8.3.1 模型训练与验证 224
8.3.2 模型部署与评估 234
项目总结 240
实训工单 241