数据湖和数据仓库随着数据量的增长和数据流动的加快，变得越来越脆弱、成本高昂且难以维护。数据网格可以帮助你的组织去中心化数据，将数据所有权归还给生产数据的工程师。本书提供了一个关于流式和实时数据服务的数据网格模式的简洁而全面的概述。
本书作者探讨了流式和批处理数据网格之间的巨大差异。数据工程师、架构师、数据产品所有者，以及DevOps和MLOps角色的人员将学习实施流式数据网格的步骤，从定义数据域到构建良好的数据产品。在本书的学习过程中，你将创建一个完整的自助式数据平台，并设计出一个数据治理系统，使你的数据网格能够无缝运行。
通过这本书，你将学习以下知识：
·使用Kafka设计一个流式数据网格。
·学习如何识别数据领域。
·使用自助式工具构建你的第一个数据产品。
·将数据治理应用于你创建的数据产品中。
·了解等

前言 1
第1章 数据网格简介 9
1.1 数据划分 11
1.2 数据网格的支柱 12
1.2.1 数据所有权 13
1.2.2 数据即产品 14
1.2.3 联合计算数据治理 15
1.2.4 自助服务数据平台 15
1.2.5 数据网格图解 16
1.3 其他类似的架构模式 17
1.3.1 数据编织 18
1.3.2 数据网关和数据服务 20
1.3.3 数据民主化 21
1.3.4 数据虚拟化 22
1.4 聚焦实现23
1.4.1 Apache Kafka 23
1.4.2 AsyncAPI 24
第2章 流式数据网格介绍 25
2.1 流处理的优势 26
2.1.1 流式处理支持实时用例 26
2.1.2 流处理带来的数据优化优势 27
2.1.3 反向ETL 28
2.2 Kappa 架构 29
2.2.1 Lambda 架构简介 30
2.2.2 Kappa 架构简介 33
2.3 总结 37
第3章 领域所有权 39
3.1 识别领域40
3.1.1 可识别领域 40
3.1.2 地理区域 40
3.1.3 混合架构 43
3.1.4 多云环境 44
3.2 避免模糊领域边界 46
3.3 领域驱动设计 48
3.3.1 领域模型 49
3.3.2 领域逻辑 49
3.3.3 限界上下文 49
3.3.4 通用语言 50
3.4 数据网格领域角色 50
3.4.1 数据产品工程师 51
3.4.2 数据产品负责人或数据管理者 51
3.5 值得考虑的流式数据网格工具和平台 52
3.6 领域内成本分摊 53
3.7 总结 54
第4章 流式数据产品 55
4.1 明确数据产品需求 56
4.2 识别数据产品衍生品 58
4.3 用Kafka Connect 摄取数据产品衍生品 59
4.3.1 可消费性 61
4.3.2 同步数据源 66
4.3.3 异步数据源与变更数据捕获 67
4.3.4 Debezium 连接器 68
4.4 将数据衍生品转化为数据产品 69
4.4.1 数据标准化 70
4.4.2 保护敏感信息 70
4.4.3 SQL 71
4.4.4 提取、转换和加载 78
4.5 使用AsyncAPI 发布数据产品 85
4.5.1 注册流式数据产品 85
4.5.2 构建异步API YAML 文档 86
4.5.3 分配数据标签 99
4.5.4 版本控制 102
4.5.5 监控 103
4.6 总结 104
第5章 联邦式计算数据治理 105
5.1 在流式数据网格中的数据治理 106
5.1.1 数据血缘图 106
5.1.2 使用流数据目录来组织数据产品 108
5.2 元数据（Metadata） 108
5.2.1 模式（schemas） 110
5.2.2 数据血缘（Lineage） 111
5.2.3 安全性 113
5.2.4 可扩展性 114
5.3 从AsyncAPI 生成数据产品页面 115
5.3.1 Apicurio 注册表 117
5.3.2 访问工作流 118
5.4 集中式与去中心化 118
5.4.1 集中式工程师 119
5.4.2 去中心化工程师 119
5.5 总结 120
第6章 自助式数据基础设施 123
6.1 流式数据网格CLI 124
6.2 与资源相关的命令 126
6.2.1 与集群相关的命令 127
6.2.2 与主题相关的命令 127
6.2.3 domain 命令 128
6.2.4 connect 命令 130
6.2.5 streaming 命令131
6.2.6 发布流数据产品 134
6.3 与数据治理相关的服务 135
6.3.1 安全服务 136
6.3.2 标准服务 142
6.3.3 血缘服务 144
6.4 SaaS 服务和API 146
6.5 总结 147
第7章 构建流式数据网格 149
7.1 基础设施 149
7.2 两种架构解决方案 150
7.2.1 专用基础设施 151
7.2.2 多租户基础设施 158
7.3 流式数据网格中心架构 163
7.3.1 领域代理（又称边车） 163
7.3.2 数据平面 164
7.3.3 控制平面 165
7.4 总结 171
第8章 构建一个去中心化的数据团队 173
8.1 传统的数据仓库结构 174
8.2 介绍去中心化团队结构 176
8.2.1 赋权人员 178
8.2.2 工作流程 178
8.2.3 促进协作 178
8.2.4 数据驱动自动化 179
8.3 数据领域的新角色 179
8.3.1 数据平面中的新角色180
8.3.2 数据科学和商业智能中的新角色 181
第9章 特征存储 187
9.1 将数据工程与数据科学分离 188
9.2 在线和离线数据存储 190
9.3 Apache Feast 简介 190
9.4 总结 194
第10章 流式数据网格的实践 195
10.1 流式数据网格示例 196
10.2 部署本地流式数据网格 198
10.2.1 安装连接器201
10.2.2 部署clickstream 数据连接器并自动创建表 203
10.2.3 部署Debezium tgres CDC 连接器 209
10.2.4 流数据的丰富化 211
10.2.5 发布数据产品 217
10.3 消费流式数据产品 219
10.4 全托管的SaaS 服务 223
10.5 总结和注意事项 230