大规模数据管理_[荷]皮特因·施特伦霍尔特(Piethein Strengholt) 著戴伟译_9787519890179

本书的主要内容有：研究数据管理趋势，包括技术发展、法规要求和隐私问题。深?了解可拓展架构，学习各组件之间如何协同?作。探索数据治理和数据安全、主数据管理、?助式数据市场，以及元数据的重要性。

前言近年来数字化已经极大地改变了我们的生活方式，社交媒体、流媒体直播和智能手机仅仅是冰山一角，而且这个变化速度仍在加快。数字化转型影响到音乐和电视、购物和旅游等许多行业，同时在人工智能和机器学习的推动下，像无人机和自动驾驶汽车这样的自动化机器（autonomous machine）的也在迅速增长。那么是什么推动了这个数字社会的发展呢？答案是数据。在20 世纪，石油曾是世界上最有价值的资源。如今，数据成为了新的石油。随着分析的增长，对数据的需求迟早会达到我们前所未见的水平。同时，数据不仅在飞速扩充而且变得愈加复杂。云计算、API 管理、微服务、开放数据、软件即服务（SaaS）以及新的软件交付模式等也正在兴起，过去几年涌现了无数新的数据库和分析应用程序。这些大量新的数据处理方法不断分化（fragment）数字景观。我们看到了更多的点对点接口、无休止的关于数据质量和所有权的讨论，以及众多与隐私和安全有关的道德和法律困境。敏捷性、系统长期的稳定性和清晰的数据治理的理念与迅速发展新业务的需求互相冲突。我们行业迫切需要一个关于数据管理和数据集成未来发展的清晰愿景。本书关于数据管理和数据集成的观点得益于我的个人经验。作为一家大型企业的首席数据架构师，我推动了数据架构议程。这一角色帮助我清楚地看到了良好的数据策略可以对大型组织产生何种影响。在这之前，我还曾担任战略顾问，设计了许多架构，并参与了大型数据管理项目，同时作为自由职业应用开发人员将这些心得付诸实践。简而言之，我在最近十年一直在寻找能帮助企业成为数据驱动的最佳方案。如今，我的雇主荷兰银行（ABO AMRO）注1 正在构建大家描述的未来状态架构注2。我们已经将本书的想法付诸于生产，并从实践中积累经验。我知道并且已经了解了其中哪些行之有效，哪些无效。这些经验使我能为你呈现一种开创性的数据管理和数据集成方法，此方法远远超越了传统方法。在这里，你将发现新的方法和发展趋势正不断相互对接和融合，这其中包括了企业架构、业务架构、软件架构、领域驱动设计、应用集成、微服务和云计算。本书是一本关于构建现代化、可拓展数据景观的综合指南。它提供了丰富的蓝图、原则、标准化模式、观察、示例和最佳实践。它将教你如何避开复杂且紧密耦合的数据景观陷阱，以及怎样把敏捷和控制注入组织的DNA 中。它从多个尽可能新的角度审视了数据管理和数据集成。你可以根据你组织的成熟情况来选择适合自己的操作。无数的公司在如何妥善进行数据管理方面失败了，考虑到持续变化的数据景观、迅猛增加的数据量和随之而来的集成挑战，这是可以理解的。在本书中我都牢记这点，并密切关注常见的障碍。值得一提的是，我设想的内容能通过许多不同的方式来实现。我将会提到一些产品和供应商，但总体理念还是保持技术中立译注1。有些概念会特别复杂，所以很难开发。由于数据管理领域和数据集成在许多方面高度交织在一起，因此我将慢慢构建本书的愿景，从定义数据管理的核心学科开始，回顾整体架构，然后深入各个领域。我所设想的是一种持久的、现代的、基于领域的分布式架构，它能帮助组织快速找到和集成数据来满足业务对敏捷性的需求，同时保持对数据的控制。我称之为可拓展架构。可拓展架构和其他架构的不同之处在于它能务实地（pragmatically）得到创建。其各个组成部分可以独立且逐步地设计，而无需大量的前期投资。这也是我所推荐的，从小处着手，观察进展情况，然后继续前进。这种方法与许多执行失败的数据仓库项目形成了鲜明对比，后者可能数年都无法产生价值。本书面向的读者对象这个可拓展架构是为了大型企业服务的，然而较小的组织也可以从中发现很多有价值的内容。本书尤其适合于：? 管理层和架构师：首席数据官，首席科技官，企业架构师和数据架构师。? 合规以及监管团队：首席信息安全官，数据保护官，信息安全分析师，数据专家和商业分析师。? 分析团队：数据科学家，数据工程师，数据分析师，以及分析管理者。? 开发团队：数据工程师，商业智能工程师，数据建模师和设计师以及其他数据专业人士。我能学到什么学完本书之后，你将理解：? 什么是数据管理及为何它很重要。? 哪些数据景观的内容受到了业务和技术趋势的影响。? 数据管理的核心部分是哪些，以及它们是如何互相影响的。? 如何大规模地管理复杂的数据景观。? 为何数据集成如此困难。? 为何企业数据仓库不再能满足其目的。? 你需要哪些工具才能搭建大规模的数据架构。? 如何理解分发数据的核心模式、它们的特征和一些用例。? 在管理架构中元数据扮演了何种角色。? 如何在大规模应用中实施主数据和参考数据的管理。? 如何利用自助模式来扩展数据消费。? 混合云和跨网络将如何影响你的架构。? 如何应用最佳实践以及在各式环境下最适宜的模式。本书的组织结构本书第1 章提供了一个背景视角，它展示了什么是数据管理以及正在发生怎样的变化。这个视角评估了2020 年初数据管理的当前状态，并追溯了企业中央数据平台的兴起与衰落。在第2 章，我们将深入探讨可拓展架构的细节。此章介绍了该架构，并为模型搭建提供了理论基础。后续章节将讨论构成整体数据架构的各种集成架构的具体细节，其中第3 章聚焦于只读数据架构，第4 章讨论API 架构，第5 章涵盖流式架构。第6 章将所有内容整合在一起，提供了一个全面的总览。随后的章节将更深入地探讨这种架构是如何运用数据管理和其各个分支更高级的内容。第7 章考察了即使在快速变化的时代，该如何以实用且可持续的方式处理数据治理和安全问题。第8 章讨论了可拓展架构的业务案例，准确展示了它如何帮企业将数据转化成价值。第9 章提供了关于使用主数据管理来保持分布式、广泛资产中数据一致性的指导，而第10 章深入探讨了元数据的使用、重要性以及民主化的潜力。第11 章以对数据管理和企业架构未来的展望结束了本书。排版约定本书使用了下述排版约定。斜体（Italic）表示新术语、URL、电子邮件地址、文件名扩展名。等宽字体（Constant Width）用于程序列表（program listing），以及在段落中引用程序元素，如变量或函数名称、数据库、数据类型、环境变量、语句和关键字。OReilly 在线学习平台（OReilly Online Learning）近40 年来，OReilly Media 致力于提供技术和商业培训、知识和卓越见解，来帮助众多公司取得成功。公司独有的专家和改革创新者网络通过OReilly 书籍、文章以及在线学习平台，分享他们的专业知识和实践经验。OReilly 在线学习平台按照您的需要提供实时培训课程、深入学习渠道、交互式编程环境以及来自OReilly 和其他200 多家出版商的大量书籍与视频资料。更多信息，请访问网站：https://www.oreilly.com/。联系我们任何有关本书的意见或疑问，请按照以下地址联系出版社。美国：OReilly Media, Inc.1005 Gravenstein Highway NorthSebastopol, CA 95472中国：北京市西城区西直门南大街2 号成铭大厦C 座807 室（100035）奥莱利技术咨询（北京）有限公司本书有一个专属网页，在那里我们列出了勘误表、示例和任何附加信息。你可以通过https://oreil.ly/data-mgmt-at-scale 来访问。如有意见或询问技术问题请发送邮件至errata@oreilly.com.cn。如寻求关于我们书籍、课程、会议和消息的更多信息，请访问我们的网站 http://www.oreilly.com。我们的Facebook：http://facebook.com/oreilly。我们的Twitter：http://twitter.com/oreillymedia。我们的YouTube：http://youtube.com/oreillymedia。致谢我想感谢Jessica Strengholt-geitenbeek 允许我来写这本书。在这个写作过程中，她一直支持我，照顾孩子并腾出空间让我可以工作，她是我生活中的挚爱。我还想感谢ABN AMRO 银行的首席架构师和数据管理负责人Santhosh Pillai，感谢他的信任和在我的职业生涯中的指导。很多想法源于他的思考。如果没有他和我之间的无数的讨论，这本书不会出现。此外，还有许多其他人给本书提供了支持和反馈：特别是Bas Van Gils、Danny Greefhorst、Gabriele Rossi、Noor Spanjaard、Bas Van Holsenbeck、Jacek Offierski、Robbert Naastepad、Neil Baxter，以及所有提供支持的人。最后我想感谢OReilly 团队的所有人的支持和信任，他们非常杰出。Sarah Grey，和你一同工作非常愉快，你的积极能量、敏锐的观察和开心的微笑激励我完成这本书。Kim Sandoval，谢谢你的全局的宏观视角，Katherine Tozer，非常感激你在最后阶段对本书的管理。Michelle Smith 和Melissa Potter，感谢你们在入职期间的支持。

目录
序 1
前言 3
第1 章数据管理的变革 . 11
1.1 数据管理12
1.2 分析正在分割数据景观 .15
1.3 软件交付的速度正在发生变化 17
1.4 网络变得更加快捷 18
1.5 隐私和安全性是重中之重 19
1.6 运营和事物系统需要被整合 20
1.7 数据商业化需要生态系统到生态系统的架构 20
1.8 企业受困于过时的数据架构 21
1.8.1 企业数据仓库和商业智能 21
1.8.2 数据湖 24
1.8.3 中心化视角 26
1.9 小结 .27
第2 章初窥可拓展架构：大规模数据管理 .29
2.1 普遍认可的起点 30
2.1.1 每一个应用程序都有一个应用程序数据库 30
2.1.2 应用程序都是特定的而且有独特的上下文 30
2.1.3 黄金数据源 31
2.1.4 无法摆脱的数据集成困境 31
2.1.5 应用程序既是数据提供者也是数据消费者 32
2.2 关键的理论考量 33
2.2.1 面向对象的编程原则.33
2.2.2 领域驱动设计 35
2.2.3 业务架构 .38
2.3 通信和集成模式 45
2.3.1 点对点 46
2.3.2 孤岛 46
2.3.3 轮辐模型 .47
2.4 可扩展架构 48
2.4.1 黄金数据源和域数据存储 49
2.4.2 数据交付契约和数据共享协议 .51
2.4.3 摆脱孤岛方案 52
2.4.4 企业规模的领域驱动设计 53
2.4.5 读优化的数据 56
2.4.6 从整体的视角看数据层 58
2.4.7 元数据和目标运营模式 61
2.5 小结 .63
第3 章管理海量数据：只读数据存储架构 .65
3.1 RDS 架构简介 65
3.2 命令和查询职责分离 66
3.2.1 什么是CQRS 66
3.2.2 规模化的CQRS 68
3.3 只读数据存储组件和服务 73
3.3.1 元数据 74
3.3.2 数据质量 .75
3.3.3 RDS 层级 77
3.3.4 数据摄取 .78
3.3.5 集成商业化现成解决方案 81
3.3.6 从外部API 和SaaS 提取数据 82
3.3.7 历史数据服务 82
3.3.8 设计的变化 86
3.3.9 数据复制 .88
3.3.10 访问层 .89
3.3.11 文件操作服务 90
3.3.12 交付通知服务 .91
3.3.13 匿名服务 91
3.3.14 分布式编排92
3.4 智能消费服务 .93
3.5 按需填充RDS 96
3.6 直接使用RDS 的考量 97
3.7 小结 .98
第4 章 API 架构的服务和API 管理 99
4.1 API 架构简介 99
4.2 什么是面向服务的架构 100
4.2.1 企业应用集成 104
4.2.2 服务编排 106
4.2.3 服务编舞 110
4.2.4 公共服务和私有服务 111
4.2.5 服务模型和规范数据模型 111
4.2.6 SOA 与企业数据仓库架构的相似之处 . 112
4.3 SOA 的现代观点 114
4.3.1 API 网关 114
4.3.2 责任模式 116
4.3.3 企业服务总线的新职责 . 118
4.3.4 服务合约 119
4.3.5 服务发现 119
4.4 微服务 .120
4.4.1 API 网关在微服务中的作用 122
4.4.2 函数 .122
4.4.3 服务网格 124
4.4.4 微服务的边界 .125
4.4.5 在API 参考架构内的微服务 126
4.5 生态系统通信 127
4.6 基于API 的通信渠道 129
4.6.1 GraphQL 130
4.6.2 为前端服务的后端 131
4.7 元数据 .131
4.8 利用RDS 进行实时和密集读取 .133
4.9 小结 134
第5 章事件和响应管理：流式架构 . 137
5.1 流式架构简介 137
5.2 异步事件模型与众不同 138
5.3 事件驱动架构是什么样的 .139
5.3.1 调停者拓扑 .140
5.3.2 代理者拓扑 .141
5.3.3 事件处理风格 .142
5.4 Apache Kafka 简易入门 143
5.4.1 分布式事件数据 145
5.4.2 Apache Kafka 的功能 .147
5.5 流式架构.148
5.5.1 事件生产者 .148
5.5.2 事件消费者 .151
5.5.3 事件平台 153
5.5.4 事件溯源和命令溯源154
5.5.5 治理模型 157
5.5.6 业务流 158
5.5.7 流式数据消费模式 161
5.5.8 事件携带状态转移 163
5.5.9 扮演RDS 的角色 .164
5.5.10 使用流式处理来填充RDS 164
5.5.11 用来指导领域的控制措施和政策 165
5.6 作为运营支撑的流式处理 .166
5.7 保证与一致性 167
5.7.1 一致性水平 .167
5.7.2 至少一次、恰好一次和至多一次的处理 167
5.7.3 消息顺序 168
5.7.4 死信队列 168
5.7.5 流式处理的互操作性169
5.8 用于治理和自助服务模型的元数据170
5.9 小结 171
第6 章将知识串联起来 173
6.1 架构回顾.173
6.1.1 RDS 架构 .174
6.1.2 API 架构 174
6.1.3 流式架构 175
6.1.4 强化模式 175
6.2 企业互操作性标准 .177
6.2.1 稳定的数据端点 .178
6.2.2 数据交付契约 .181
6.2.3 可访问和可寻址的数据 .182
6.2.4 跨网络原则 .182
6.3 企业数据标准 188
6.3.1 消费优化原则 .189
6.3.2 元数据的可发现性 192
6.3.3 语义一致性 .196
6.3.4 提供相应的元数据 200
6.3.5 数据来源与移动 200
6.4 参考架构.203
6.5 小结 204
第7 章可持续的数据治理与数据安全 207
7.1 数据治理.207
7.1.1 组织：数据治理的角色 .209
7.1.2 流程：数据治理的活动 .212
7.1.3 人员：信任与道德、社会和经济的考量 214
7.1.4 技术：黄金数据源，所有权和应用程序管理 214
7.1.5 数据：黄金数据源，黄金源数据集和分类 .216
7.2 数据安全.224
7.2.1 时下的孤岛方法 225
7.2.2 架构的统一数据安全225
7.2.3 身份提供者 .227
7.2.4 安全参考架构和数据上下文方法 .228
7.2.5 安全处理流程 .230
7.3 实践指南.234
7.3.1 RDS 架构 .234
7.3.2 API 架构 236
7.3.3 流式架构 240
7.3.4 智能学习引擎 .241
7.4 小结 242
第8 章从数据获取价值 243
8.1 消费模式.244
8.1.1 直接使用只读数据存储 .244
8.1.2 领域数据存储 .245
8.2 目标运营模式 247
8.3 作为目标用户群体的数据专业人员248
8.4 业务需求.250
8.5 非功能性需求 250
8.6 创建数据管道和数据模型 .252
8.7 分发集成数据 259
8.8 商业智能能力 260
8.9 自助服务能力 262
8.10 分析能力 265
8.10.1 自动化部署的标准基础设施 266
8.10.2 无状态模型266
8.10.3 预设和配置好的工作台 266
8.10.4 模型集成模式的标准化 267
8.10.5 自动化 .268
8.10.6 模型元数据268
8.11 高级分析参考架构 270
8.12 小结 273
第9 章掌握企业数据资产 275
9.1 揭秘主数据管理 .276
9.2 主数据管理风格 .276
9.3 主数据管理参考架构 278
9.3.1 设计主数据管理解决方案 279
9.3.2 MDM 的分发 281
9.3.3 主标识号 281
9.3.4 参考数据与主数据 282
9.4 确定企业数据的范围 283
9.5 MDM 和数据质量即服务 286
9.6 精选数据.286
9.6.1 元数据交换 .287
9.6.2 集成视图 288
9.6.3 可复用组件和集成逻辑 .288
9.6.4 数据重新发布 .289
9.7 与数据治理的关系 .290
9.8 小结 290
第10 章通过元数据实现数据民主化 293
10.1 元数据管理 .294
10.2 企业元数据模型 295
10.3 企业知识图谱 303
10.4 元数据管理的架构方法 307
10.4.1 元数据互操作性 .308
10.4.2 元数据存储库 310
10.5 能提供快速访问授权数据的市场 313
10.6 小结 316
第11 章结论 317
11.1 交付模式 318
11.1.1 完全去中心化方案 319
11.1.2 部分去中心化方案 320
11.1.3 构建团队 320
11.1.4 内部开源策略 321
11.2 文化 322
11.3 技术选择 323
11.4 传统企业架构的没落 .324
11.4.1 蓝图和图表 324
11.4.2 现代技能 325
11.4.3 控制和管理 325
11.5 最后的话 326
术语 . 327

你还可能感兴趣

我要评论