本书以功能更广更深、可靠性和安全性要求更高的金融级大数据平台为参照，介绍大数据平台的架构过程及各种大数据技术，不仅包含数据采集、数据集成、作业调度、数据加工、实时数据仓库、数据服务、数据可视化、数据挖掘等常见的应用场景，还加入了数据质量、数据安全、三态投产等广受关注的内容。本书以业务场景、技术选型、技术架构对主要章节进行划分，让读者在理解大数据业务需求的基础上，了解各种大数据技术，并能够选取合适的技术来构建大数据平台。
　　本书内容丰富，图文并茂，实战性强，适合大数据技术初学者，政府、金融机构的大数据应用决策和技术人员，以及IT经理、CTO、CIO等快速学习大数据技术，并能快速提升读者的大数据平台架构能力。

金融级别大数据技术应用，全场景、全技术
在架构师的业务场景讲述中，体会实际技术需求、难点与应用，技术学习更高效
14个业务场景，图文并茂，教你技术如何选、如何用

前言
随着互联网和数字化技术的飞速发展，大数据成为热门的技术领域。特别是2019年国家明确将数据视为生产要素以来，大数据技术的发展更加迅猛，已经成为现代社会各行各业发展的最大变量。
掌握大数据技术，对于程序员来说，可以极大地提升职场价值和社会价值。然而，作者在学习MapReduce和Spark的时候，有多次从入门到放弃的经历。相关的技术教程很多，即使按照教程一步步学习，也往往不得其解，过了一段时间就忘掉了，需要从头再学。
现有的大数据技术非常多，如Hive、MPP、Spark、Flink、Kafka、Hudi、Iceberg等，这些技术往往很复杂，学习代价也很大。即使下定决心去学一种技术，也会因为不知道这种技术对未来工作有没有用，而带着质疑去学习，效果可想而知。
如果有这么一本书，像讲故事一样，描述用特定大数据技术解决一些业务问题的项目经历，在各种大数据使用场景中引领读者学习各种大数据技术的具体应用，那么读者就可以参照这些场景，并结合自己的实际工作，从应用出发，带着一些具体问题，研究对应的大数据技术，这样的学习是更有效的。这就是本书的意义所在。
下面对本书的结构脉络进行说明。
1.大数据技术应用场景选取
本书以大数据技术应用场景进行章节划分，所述场景力求全面，而金融业在大数据技术运用的深度和广度上都有优势，且应用场景比较典型。在过去的十几年里，作者团队一直扎根金融大数据技术研发，对大数据技术体系的庞大和应用场景的复杂多样深有体会，且积累了大量实战经验。本书由团队中不同大数据领域的十几位技术负责人编写，囊括丰富的大数据应用场景，涉及常用的大数据技术。本书将这些场景分成五类。
1)数据处理类：将数据从业务系统采集到数据仓库，以及在数据仓库做批量加工或者流式加工。
2)数据使用类：数据加工完成以后，以数据服务、数据可视化图表的方式给到业务系统，并满足数据使用过程中的响应速度要求。
3)数据治理类：大数据所有端到端过程中的质量管理、元数据管理、安全管理。
4)数据运维类：大数据系统中的作业调度、跨环境部署、计算资源管理。
5)综合场景类：一些特殊的综合场景，如数据湖、流批一体、信创等。
除了在本集团落地以外，团队解决大数据应用问题的方案或产品也会输出到同行业其他公司和其他行业的公司。在与同行的交流当中，作者发现，虽然团队使用的有些技术架构不是最前沿的（因为金融业比较注重稳定性和安全性），但是几乎覆盖大数据能碰到的所有场景，所以本书所选的场景，应该可以满足大部分大数据技术人员的诉求。
2.每个场景的编写脉络
本书每个场景基本都是按照如下脉络展开的。
1)描述业务需求。
2)分析业务需求对应要解决的技术问题，归纳出几个待解决的技术难点。
3)阐述每个技术难点的解决思路。
4)针对解决思路进行技术选型。
5)分析针对每一个难点的解决方案。
6)整合得到整体解决方案和技术架构。
7)阐述方案落地时的技术要点或注意事项。
8)介绍方案实际应用效果。
9)分析架构的优缺点、使用注意事项、不适合的场景（使用限制）。
以上内容基本是按照大数据架构师碰到特定业务问题时，从需求分析到方案落地，再到事后总结的整个历程编排的。读者阅读时，可以从架构师的角度进行思考，也能够习得架构师的一些实战经验。
本书基于场景进行大数据技术应用讲解，在以下几个方面可以帮助读者。
1.学习新技术
开发人员学习新技术时，可能已经确定这项技术要用在哪里，比如，为了快速搜索一个有上千万条记录的大表，就去学习Elasticsearch；也可能并不清楚这项技术的用途，比如，因为很流行用Spark作为大数据平台，所以就去学习。这两种情况里，前者往往通过相关教程或者官方文档就能上手使用，但是对于后者，开发人员在学习过程中可能经常会想，为什么要有某个功能？为什么会有Shuffle？结果资料看完了，对技术如何使用还是云里雾里的。
阅读这本书，在应用场景中学技术，知道某项技术能解决什么问题，也就能理解它为什么那样设计，才能真正学会它。
2.发挥数据的业务价值
技术人员都希望利用自己的技术能力提供业务价值，在大数据平台中，就是利用大数据技术挖掘数据的价值。但是实现这个目标并不容易，需要丰富的实战经验，对于新手来说，往往要花费不少时间进行诸多项目的历练。这时就可以参考本书，对照自己的任务需求找到类似的项目实施过程。
3.提升自我价值
如果想成为一名架构师，需要在哪些方面有所提升？需要做些什么？答案可能是，列出几个甚至几十个维度，对照自己的不足逐个进行改进。作者认为，有一个更简单的答案：某个项目需要设计方案去实现某种相对较新的功能，如果能够给出可行方案，那就是完成了一项架构师工作。
对于一个新的项目需求，可以通过自己之前的项目经历去解决，本书的案例也能提供一些参考。希望本书能够帮助技术人员为公司解决更多的实际问题，提升自我价值。
4.面试展示
面试的时候，通常面试官会了解一下候选人的具体项目或架构经历，很多候选人无法清楚展现自己解决问题的过程和其间发挥的作用。本书提供了大量的实战案例，并且每个案例都非常详细地阐述了从业务需求到技术落地过程中方方面面的考量，能为读者的项目经历展示提供一些参考，阅读中的思考过程也能帮助读者对大数据技术应用和项目实施进行梳理与总结。
需要注意的是，本书基于实战经历编写，注重业务需求描述和技术应用讲解，目的是让读者深入业务去理解技术，如果想具体学习一项技术的使用方法，可以阅读相应的图书、官方文档等资料。
相信读者在了解以上编写思路后，在阅读本书时会更有针对性。接下来，请开启基于全场景应用实战学习大数据技术的历程吧。

编者

拥有近20年互联网研发经验，涉及保险、电商、银行等行业，曾带领团队完成20多个架构搭建/改造项目，具有丰富的架构迁移、大数据计算框架搭建、亿级大数据量系统优化经验，在AI工程化落地、中台化改造、DevOps等方面也有大量实践。
编者团队为大型国有银行资深团队，具有丰富的大型金融级大数据平台搭建、改造、运维、管理经验。

前言
第1部分 概述及数据处理
第1章 金融大数据应用概述/
1.1 金融大数据技术发展历程/
1.2 大数据技术分类/
1.3 金融大数据技术应用场景/
第2章 数据采集/
2.1 数据采集业务场景/
2.2 存储到HDFS的采集技术方案/
2.2.1 前端渠道用户行为数据采集/
2.2.2 服务端应用层数据采集/
2.2.3 数据库层的采集/
2.2.4 基于HDFS的数据采集整体架构/
2.3 T 0的采集技术方案/
2.3.1 T 0采集架构与基于HDFS的采集架构的不同点/
2.3.2 T 0采集架构在前端、后端以及数据库端的设计/
2.3.3 T 0数据采集整体架构/
2.4 全域数据实时采集的技术挑战/
2.5 实现全域数据实时采集的技术思路/
2.5.1 数据库数据实时采集/
2.5.2 基于Flink的采集平台和采集类型算子化/
2.5.3 如何保证实时采集链路数据的一致性/
2.6 全域数据实时采集的整体技术方案/
2.6.1 数据源层/
2.6.2 数据采集层/
2.6.3 数据存储层/
2.6.4 如何选择合适的采集模式/
2.7 本章小结/
第3章 数据离线处理/
3.1 数据离线处理业务场景/
3.2 数据离线处理架构的主要难点/
3.2.1 数据传输标准/
3.2.2 可以快速自由组合大数据处理动作的架构/
3.2.3 数据离线处理的整体技术架构/
3.2.4 数据离线处理各环节的技术要点/
3.3 企业级数据传输标准/
3.3.1 标准文件定义/
3.3.2 模型演进下的数据传输标准/
3.4 快速自由组合大数据作业流的架构要点/
3.4.1 大数据离线处理作业开发流程/
3.4.2 大数据离线处理作业开发流程技术要点/
3.5 数据离线处理整体架构要点/
3.5.1 大数据开发人员是写代码还是写SQL语句/
3.5.2 是否使用单一的计算引擎/
3.5.3 如何解决事务的场景问题/
3.5.4 整体架构/
3.6 离线处理动作实现要点/
3.6.1 数据卸载/
3.6.2 数据传输/
3.6.3 数据预处理/
3.6.4 数据加载/
3.6.5 数据加工/
3.6.6 数据复制/
3.7 本章小结/
第4章 流式数据处理/
4.1 流式数据处理业务场景/
4.2 流式数据处理简介/
4.2.1 什么是流式处理/
4.2.2 流计算和实时计算有什么区别/
4.2.3 流处理引擎/
4.2.4 引擎选型思路/
4.3 整体方案/
4.4 方案难点和解决思路/
4.4.1 如何处理延迟与乱序数据/
4.4.2 如何实现维表关联/
4.4.3 计算结果存在哪里/
4.4.4 如何保证数据一致性/
4.5 运维注意事项/
4.5.1 监控哪些指标/
4.5.2 优化并行度/
4.5.3 做好数据补偿的准备/
4.6 本章小结/
第2部分 数据使用
第5章 数据服务/
5.1 数据服务业务场景/
5.1.1 构建联机同步数据服务的案例/
5.1.2 案例扩展/
5.1.3 数据服务的需求/
5.2 规划的功能架构/
5.3 建设思路/
5.3.1 服务访问代理层/
5.3.2 网关层/
5.3.3 服务管理层/
5.3.4 数据服务/
5.3.5 数据访问代理（查询引擎）/
5.4 整体架构和时序图示例/
5.4.1 整体架构/
5.4.2 时序图示例/
5.4.3 注意事项/
5.5 本章小结/
第6章 数据加速/
6.1 数据加速业务场景/
6.2 技术选型/
6.2.1 选型维度介绍/
6.2.2 ClickHouse、Kylin、Elasticsearch和Doris的对比/
6.2.3 ClickHouse和Doris的对比/
6.2.4 ClickHouse和Kylin的对比/
6.2.5 选型结论/
6.3 整体架构介绍/
6.3.1 功能架构介绍/
6.3.2 业务流程介绍/
6.4 基于ClickHouse的实战介绍/
6.4.1 基于ClickHouse的数据链路/
6.4.2 ClickHouse部署架构/
6.4.3 部署规划/
6.4.4 配置经验/
6.5 基于Kylin的实战介绍/
6.5.1 基于Kylin的数据链路/
6.5.2 配置经验/
6.6 本章小结/
第3部分 数据治理
第7章 元数据管理/
7.1 元数据管理的业务背景/
7.1.1 元数据管理的目标/
7.1.2 元数据管理的功能需求/
7.2 详细设计思路和实现方案/
7.2.1 元数据模型/
7.2.2 元数据存储/
7.2.3 元数据采集与登记/
7.2.4 元数据设计与发布/
7.2.5 数据权限管理/
7.2.6 元数据应用/
7.3 整体技术架构介绍/
7.4 本章小结/
第8章 数据安全管理/
8.1 数据安全管理业务背景/
8.1.1 需求讨论/
8.1.2 数据安全流程/
8.2 识别和脱敏的技术难点/
8.2.1 如何快速扫描和识别成千上万张表/
8.2.2 如何即时解析用户的SQL语句获取查询的表字段/
8.2.3 如何保存识别出来的数据保密等级/
8.3 识别大量数据/
8.3.1 识别数据的主要步骤和思路/
8.3.2 自动识别的技术方案/
8.4 动态脱敏的技术方案/
8.4.1 动态脱敏的主要流程/
8.4.2 使用Calcite解析SQL/
8.4.3 动态脱敏接口设计/
8.5 用MySQL保存识别出来的数据保密等级/
8.6 本章小结/
第9章 数据质量管理/
9.1 数据质量管理业务背景/
9.2 技术语言业务化/
9.2.1 完善数据字典/
9.2.2 元数据信息可视化/
9.2.3 检核规则模板化/
9.3 数据技术检核任务的自动化生成/
9.3.1 技术检核的难点/
9.3.2 技术检核任务的自动化/
9.4 大数据文件的检核/
9.4.1 检核数据方法/
9.4.2 大文件快速检核技术实现方案/
9.4.3 方案的权衡点/
9.5 端到端的架构/
9.6 本章小结/
第4部分 数据部署与运维
第10章 大数据作业调度/
10.1 作业调度的技术难点/
10.1.1 架构设计/
10.1.2 作业编排/
10.1.3 资源管理/
10.1.4 作业监控运维/
10.1.5 非功能要求/
10.2 作业调度整体架构/
10.2.1 经典两层作业调度架构/
10.2.2 早期分布式作业调度架构/
10.2.3 基于MQ/Redis的分布式作业调度架构/
10.3 作业排程/
10.3.1 作业排程的主要步骤和思路/
10.3.2 基于Redis的智能化作业排程方案/
10.4 作业资源管理/
10.5 调度运维服务/
10.5.1 作业影响性分析/
10.5.2 故障诊断/
10.6 调度非功能设计/
10.6.1 性能/
10.6.2 可靠性/
10.7 业务使用效果及局限性总结/
10.8 作业调度发展趋势与未来规划/
10.9 本章小结/
第11章 大数据计算资源管理/
11.1 大数据计算资源管理业务场景/
11.1.1 资源管理业务背景/
11.1.2 资源类型/
11.1.3 大数据平台资源规划/
11.1.4 跨AZ资源管理/
11.1.5 资源使用监控/
11.2 资源管理技术实现思路/
11.2.1 资源管理技术实现简介/
11.2.2 基于Kubernetes的资源管理实现/
11.2.3 基于YARN的Hadoop资源管理实现/
11.3 资源管理解决方案设计/
11.3.1 资源管理整体流程/
11.3.2 资源管理整体实现架构/
11.3.3 资源管理中灵活资源配置场景介绍/
11.4 资源管理设计不足探讨/
11.5 本章小结/
第12章 三态投产/
12.1 三态投产业务场景/
12.1.1 大数据三态/
12.1.2 常规软件投产/
12.1.3 自研投产部署方案的技术难点/
12.2 解决思路/
12.2.1 要在三态中投产的大数据应用内容/
12.2.2 导入导出的范围控制/
12.2.3 导入导出的性能问题/
12.2.4 制品和平台及其组件版本的兼容性/
12.2.5 制品的数据完整性/
12.3 整体方案介绍/
12.3.1 整体架构/
12.3.2 方案要点/
12.4 本章小结/
第5部分 综合应用场景
第13章 流批一体/
13.1 流批一体业务背景/
13.2 流批一体初步架构/
13.2.1 场景问题解决思路/
13.2.2 架构方案/
13.2.3 Lambda架构/
13.2.4 存在的问题/
13.3 流批同写一张表的架构/
13.3.1 什么是流批同写一张表/
13.3.2 技术选型/
13.3.3 Hudi原理介绍/
13.3.4 架构方案/
13.3.5 要点和技术难点/
13.3.6 待解决的问题/
13.3.7 使用效果/
13.4 处理层面的流批一体/
13.4.1 技术选型/
13.4.2 流批处理一体架构方案/
13.4.3 关于Kappa架构/
13.5 选择什么样的流批一体架构方案/
13.5.1 3种流批一体架构方案对比/
13.5.2 流批一体是否会取代流处理或批处理/
13.6 本章小结/
第14章 数据湖应用/
14.1 什么是数据湖/
14.2 为什么要建设数据湖/
14.3 数据湖的规划设计/
14.3.1 数据湖和数据仓库的区别与关系/
14.3.2 数据湖架构规划/
14.4 数据湖的技术选型/
14.4.1 数据获取/
14.4.2 数据存储/
14.4.3 数据处理/
14.4.4 访问分析/
14.4.5 数据管理/
14.5 数据湖的整体架构/
14.5.1 技术架构/
14.5.2 数据链路介绍/
14.6 数据湖建设中的问题/
14.7 本章小结/
第15章 建设自主可控的信创大数据平台/
15.1 建设大数据平台的业务背景/
15.1.1 为什么要建设大数据平台/
15.1.2 建设大数据平台的架构需求/
15.1.3 待解决的架构问题/
15.2 组件划分及设计/
15.2.1 组件划分/
15.2.2 各组件设计思路/
15.2.3 组件间协同/
15.3 信创适配/
15.3.1 什么是信创/
15.3.2 信创环境适配常见问题/
15.3.3 适配工作/
15.4 整体架构/
15.5 本章小结/
第16章 大数据发展趋势与未来规划/
16.1 大数据领域新技术的发展/
16.1.1 新型数据存储与计算架构/
16.1.2 实时数据处理技术/
16.1.3 数据治理和安全隐私保护技术/
16.2 大数据与其他技术领域的融合发展/
16.2.1 大数据技术领域内部融合/
16.2.2 大数据与人工智能技术/
16.2.3 大数据与物联网技术/
16.2.4 大数据与云原生技术/
16.3 技术人员的应对措施/
16.3.1 创新思维和跨界思维/
16.3.2 持续学习的态度/
16.3.3 关注技术的业务价值而不是技术本身/
16.4 大数据开发中的几个误区/
16.4.1 重技术不重业务/
16.4.2 重继承不重创新/
16.4.3 重功能不重非功能/
16.4.4 技术上重深度不重广度/
后记/