构建数据和机器学习平台_[意]马尔科·特兰克维林(Marco Tranquillin)[美]瓦利阿帕·拉克什曼南(Valliappa Lakshmanan)[英]菲拉特·泰基内尔(Firat Tekiner) 著_9787519899561

本书的主要内容有：设计现代化和安全的云原生或混合式数据分析和机器学习平台。整合数据到妥善治理、可扩展和有弹性的数据平台，以数据加速创新。实现企业数据访问的民主化，治理业务团队抽取洞察力的方式，并构建AI/ML能力。赋予业务团队用流处理流水线实时决策的能力。构建MLOps平台，采用预测分析和规范性分析方法。

前言数据平台是什么？你为何需要它？构建数据和机器学习（ML）平台都涉及哪些内容？你为何应该在云端构建平台？做数据和机器学习项目，总会遇到这些常见问题。本书从解答这些问题入手，接着规划平台开发的战略旅程。我们建议你按该旅程在自己的业务中构建数据和机器学习能力。我们将介绍如何执行该战略的每一步，并将所有概念都整合到一个典型的数据现代化案例之中。你为何需要云数据平台？试想贵司首席技术官（CTO）正欲新建一移动端友好的电商网站。我们失去业务，他振振有词道，还不是因为我们网站没适配手机，尤其是没考虑到亚洲语言区的使用习惯。CTO 所讲现有网站在移动端用户体验不佳这一点，首席执行官（CEO）非常认同，但她想弄清楚平台的移动端客户在总客户群中是否形成一个能盈利的细分市场。于是，她给亚洲区运营负责人打电话，询问：我们电商网站手机客户的收入和利润率各是多少？如增加用手机购买的人数，下一年的总收入会有怎样的变化？亚洲区负责人该如何回答这个问题？要回答这个问题，需有能力关联客户访问（确定HTTP 请求的来源）、客户购买（了解他们所购商品）和采购信息（确定所购商品的成本）。除此之外，还要有能力预测细分市场的增长情况。地区负责人要找信息技术（IT）部，请他们从不同数据源拉取必要信息，并编写程序计算这些统计数据吗？ IT 部门具备回答这个问题的带宽和做预测分析的技能吗？如该机构拥有数据平台，情况会有多大改善？如有数据平台，所有数据均已采集和清洗到位，全机构可直接拉数据做分析和合成所需数据。数据分析师团队只需运行交互式即席查询。他们还可利用平台内置的AI 能力，轻松预测收入和流量模式，或检索其预测结果，并以数据驱动决策，确定是否响应CTO 的要求，投资建设移动端友好的新站点。为解答CEO 的问题，可购买和部署一套实时用户监控（real-time user monitoring，RUM）工具。这类专用工具非常多，这种一次性决策都有一款合适的工具。但拥有一个数据平台，机构就能解答很多这样的一次性问题，再无需采购和安装一堆专门解决方案。当今机构日益渴求以数据驱动决策。我们所举例子聚焦的是一次性决策。但在很多情况下，机构期望针对每笔交易都能反复自动决策。例如，机构可能想判断购物车是否有弃车风险，以立即向客户推送低价商品，帮其跨过免运费门槛。这些商品必须能吸引具体的购物者，因而需要扎实的分析和机器学习能力。基于数据作决策，机构需要一个能简化如下工作的数据和机器学习平台：? 获取数据。? 运行交互式即席查询。? 创建报告。? 根据数据自动决策。? 企业服务个性化。为获得上述所有能力，需克服技术障碍。如本书所讲，云平台能减少这些障碍：有了它就能从任何地方访问数据，执行快速、大规模查询，甚至在边缘设备上也可以，而且还能利用提供多种分析和AI 能力的服务。然而，要实现这样一个平台，需多个构建模块，而将这些模块开发和安装到位，有时是一个复杂的旅程。本书旨在帮读者更好地理解这些主要概念、架构模式和可用工具，以搭建现代云数据平台，洞察和控制公司数据，作出更有意义和自动化程度更高的业务决策。我们几位作者都是拥有多年工作经验的工程师，一直在帮不同地区、不同行业的企业构建数据和机器学习平台。这些企业期望从数据获取洞察力，但往往面临很多挑战，难以拿到适合他们快速分析的所有必要数据。因而，他们发现自己必须构建一个现代化数据和机器学习平台。目标读者本书是为那些期望在自己业务中通过利用公有云技术构建数据和机器学习平台来支持数据驱动决策的架构师而写。数据工程师、数据分析师、数据科学家和机器学习工程师，有可能在这些系统上从事开发工作，阅读本书，有助于理解其概念设计。原本就从事数字业务的数字原生公司，数年以来持续构建和开发这类平台，驱动业务决策。早在2016 年，Twitter 公司就曾解释（https://oreil.ly/OwTy4）其数据平台团队维护多个系统，为实现多种业务目标而支持并管理数据的生产和消费，其中包括公开指标、推荐、A/B 测试、广告定向投放等。回到2016 年，其工作还包括维护当时世界上最大的Hadoop 集群。到2019 年，这项工作职责改成将支持云原生数据仓库解决方案（https://oreil.ly/xeud3）也包括在内。再举一例，Etsy 公司表示（https://oreil.ly/4vckj）其机器学习平台团队开发和维护技术基础设施，支持机器学习实验，方便Etsy 机器学习实操者大规模构建原型、训练和部署机器学习模型。Twitter 和Etsy 都已构建现代化数据和机器学习平台。这两家公司的平台不同，支持的数据、员工和业务用例类型也不同，但基本方法非常相似。本书将介绍如何构建可赋予你们工程师如下能力的现代化数据和机器学习平台：? 从多种数据源采集数据，如运营数据库、客户点击流、物联网（IoT）设备、软件即服务（SaaS）应用等。? 打破机构不同部门之间的壁垒。? 摄取数据时或加载数据后处理数据，同时确保处理得法，数据质量高可用，且管理到位。? 例行或即席分析数据。? 用现有AI 模型丰富数据。? 构建机器学习模型，执行预测分析。? 数据操作不仅支持例行处理，还可响应触发事件和阈值。? 传播洞察力，嵌入分析。若到企业从事数据和机器学习模型相关工作，企业将要求你在数据或机器学习平台团队开发的平台上工作，而本书对平台架构方面的考量所作介绍有望带你登堂入室。本书有助于数据工程师、数据分析师、数据科学家或机器学习工程师获得一种高层次的系统设计观。我们的主要经验虽来自谷歌云（Google Cloud）平台，但写作过程努力采用一种云无关的视角来介绍这些架构背后的服务。为此，我们了引入三大云供应商（即亚马逊云服务AWS、微软Azure 和谷歌云）的相关例子，但并不拘泥于这三家。内容编排本书按第2 章将详细介绍的用数据创新的战略步骤编排，分12 章。本书以一个典型应用场景收尾，展示机构该如何走上自己的现代化之旅。第1 章讨论机构为何应构建数据平台。该章还涵盖数据平台的构建方法、技术趋势和核心原则。第2、3 章深入规划构建旅程，确定创新的战略步骤和实施方法。届时，我们将讨论降低总拥有成本（TCO）、打破数据壁垒和利用AI 解锁创新方法等概念。我们还将分析数据生命周期的构建模块，讨论数据团队的设计方法，并推荐一种采用计划。第4 章用迁移框架整合上述内容。第5 ～ 7 章依次讨论数据平台的三种最常用的架构：数据湖、数据仓库和湖仓一体。我们展示从数据湖或数据仓库出发构建湖仓一体的两种方式，并讨论这两种路径该如何选。第8、9 章讨论湖仓一体基本模式的两种常用扩展方法。届时，我们将介绍如何通过引入流式模式提高在上下文的决策速度，实现实时决策，以及如何通过向边缘扩展来支持混合架构。第10、11 章介绍如何在企业环境构建和使用AI 和机器学习，如何设计架构来设计、构建、部署和编排创新模型。这些章节涵盖机器学习预测模型和生成模型。本书第12 章我们将给出一个典型的数据现代化样板旅程，重点阐释如何从遗留架构迁移到新架构，并解释机构选择某种特定解决方案的过程。你若是云架构师，担当为你们业务构建数据和机器学习平台的重任，那么请按顺序阅读本书所有章节。你若是数据分析师，负责创建报告、数据看板和作嵌入式分析，请阅读第1 章、第4 ～ 7 章、第10 章。你若是数据工程师，负责构建数据流水线，请阅读第5 ～ 9 章。其余章节可跳过，后续若对一类特定应用有需求，再将其作为参考。你若是负责构建机器学习模型的数据科学家，请阅读第7、8、10 章和11 章。你若是对机器学习模型运维感兴趣的机器学习工程师，请跳过第1 ～ 9 章，直接研读第10、11 章。排版约定本书排版遵循以下约定：斜体（Italic）表示新术语、URL、邮件地址、文件名和文件扩展名。等宽字体（Constant width）表示程序片段和段落中出现的编程元素，如变量、函数名、数据库、数据类型、环境变量、语句和关键字。使用代码示例本书配套材料请从https://oreil.ly/architecting-data-ml-platforms-code 下载。本书技术问题或代码使用问题，请发电子邮件至：support@oreilly.com。本书旨在帮你完成工作。一般来讲，本书示例代码，你将其用于自己项目和文档，无需联系我们征得许可，但大量复制代码另议。例如，你写程序使用书中多处代码，无需我们授权，但出售或分发OReilly 图书示例代码，则需我们授权。引用本书内容或示例代码回答问题，无需授权。但在你的产品文档中大量使用本书示例代码，则需经我们授权。所用之处，如能添加内容出处，我们将非常感激，当然这并非必须。出处通常要标明书名、作者、出版社和 ISBN 号。例如：Architecting Data and Machine Learning Platforms by Marco Tranquillin, Valliappa Lakshmanan,and Firat Tekiner (OReilly). Copyright 2024 Marco Tranquillin, Valliappa Lakshmanan, and Firat Tekiner, 978-1-098-15161-4.。如果你觉得示例代码的使用方式可能不当或超出上述许可范围，请联系我们，邮箱是 permissions@oreilly.com。OReilly 在线学习平台（OReilly Online Learning）近40 年来，OReilly Media 致力于提供技术和商业培训、知识和卓越见解，来帮助众多公司取得成功。公司独有的专家和改革创新者网络通过OReilly 书籍、文章以及在线学习平台，分享他们的专业知识和实践经验。OReilly 在线学习平台按照您的需要提供实时培训课程、深入学习渠道、交互式编程环境以及来自OReilly 和其他200 多家出版商的大量书籍与视频资料。更多信息，请访问网站：https://www.oreilly.com/。联系我们任何有关本书的意见或疑问，请按照以下地址联系出版社。美国：OReilly Media, Inc.1005 Gravenstein Highway NorthSebastopol, CA 95472中国：北京市西城区西直门南大街2 号成铭大厦C 座807 室（100035）奥莱利技术咨询（北京）有限公司我们为本书做了一个网页，将勘误信息、示例代码和其他附加信息列在上面。地址是https://oreil.ly/architecting-data-ml-platforms。勘误请发送给errata@oreilly.com.cn。如欲了解更多OReilly 图书、课程、会议和新闻相关信息，请访问以下网站：http://www.oreilly.com。我们的LinkedIn：https://linkedin.com/company/oreilly-media。我们的Twitter：http://twitter.com/oreillymedia。我们的YouTube：http://youtube.com/oreillymedia。致谢编写这样一本书意义深远，因为你分享的不仅是自己的知识，还是你经验结出的硕果，而这些经验是你与很多人并肩奋斗才得来的。写作过程，我们回想起有幸与其共事、向其学习和共同庆祝的朋友。在不违背保密协议的前提下，我们无法一一点名致谢，因此我们只能向包括他们在内的广大数据分析、数据工程和数学科学社区表示深深的感谢。我们由衷感激本书杰出的技术审稿人Sami Akbay、Mike Dahlin、Kevin George、Jonathan Gerhard、Noah Gift、Sanjay Ramchandani、Joseph Reis 和Vicki Reyzelman，他们审阅初稿并提出宝贵的反馈和建议。OReilly 是技术类图书的首选出版方，本书出版团队所表现出来的专业水准便是最好的证明。Megan Laddusaw 指导我们编写引人入胜的大纲。Virginia Wilson 和Melissa Potter 不遗余力管理整个内容开发过程。Gregory Hyman 帮我们打磨出高质量的终稿，甚至还帮我们设计所有插图。感谢你们的大力帮助！Marco：感谢我的好妻子Lara Maria Gessica，她是指路明灯，写作期间，她给予无尽的帮助。感谢我可爱的儿子Walter 和Nicholas 让我生命的每一天都无比精彩。Lak：感谢Abirami 长达25 年的关爱和陪伴。此刻，抗议声弱了下来，但我不会因空巢而让自己承担更多写作任务！Firat：谨以此书献给三位女士，她们持续塑造我的生命，并使这一切成为可能。献给女儿Evre，感谢她的好奇和快乐。献给妻子Yontem，感谢她的坚持。献给母亲Emine Ayla，感谢她对我的信任始终如一。本书英文版版税将全部捐给Girls Who Code（https://girlswhocode.com）机构。其使命是构建一条培养未来女性工程师的大型流水线。数据在各行各业所起作用越来越核心，从业人员的多元化和包容性也越发重要。

目录
前言 1
第1 章数据平台现代化概览 . 11
1.1 数据生命周期 .12
1.1.1 智慧之旅 .12
1.1.2 水管类比 .13
1.1.3 采集 14
1.1.4 存储 15
1.1.5 处理和转换 17
1.1.6 分析和可视化 18
1.1.7 激活 19
1.2 传统方法的局限性 20
1.2.1 反模式：用ETL 打破数据孤岛 20
1.2.2 反模式：集中控制 .24
1.2.3 反模式：数据集市和Hadoop 25
1.3 创建统一的分析平台 27
1.3.1 从内部平台改为云平台 27
1.3.2 数据集市和数据湖的缺点 28
1.3.3 融合数据仓库和数据湖 29
1.4 混合云 34
1.4.1 混合的必要性 34
1.4.2 混合云的挑战 35
1.4.3 混合方案为什么可行.37
1.4.4 边缘计算 .38
1.5 采用AI 39
1.5.1 机器学习 .39
1.5.2 采用机器学习 40
1.6 AI 为什么要上云 42
1.6.1 云基础设施 42
1.6.2 普及机器学习 43
1.6.3 实时 45
1.6.4 MLOps .46
1.7 核心原则47
1.8 小结 .49
第2 章数据创新战略步骤 .51
2.1 步骤1：战略规划.52
2.1.1 战略目标 .53
2.1.2 识别干系人 55
2.1.3 变更管理 .55
2.2 步骤2：采用云方法，降低总拥有成本 57
2.2.1 为什么云的成本更低.57
2.2.2 上云能省多少钱 59
2.2.3 上云时机 .59
2.3 步骤3：打破孤岛.60
2.3.1 统一数据访问 61
2.3.2 选择存储 .62
2.3.3 构建语义层 63
2.4 步骤4：在上下文更快决策 .65
2.4.1 从批处理到流处理 .65
2.4.2 上下文信息 66
2.4.3 成本管理 .66
2.5 步骤5：用AI 方案包跨越式发展 67
2.5.1 预测分析 .68
2.5.2 理解和生成非结构化数据 69
2.5.3 个性化 70
2.5.4 解决方案包 70
2.6 步骤6：运营由AI 驱动的工作流 71
2.6.1 找到自动决策和AI 辅助的最佳平衡点 71
2.6.2 营造数据文化 72
2.6.3 充实数据科学团队 .73
2.7 步骤7：将数据作为产品来管理 74
2.7.1 将产品管理原则应用于数据 .74
2.7.2 理解并维护企业的数据流地图 .74
2.7.3 识别关键指标 75
2.7.4 共识标准、承诺的路线图和愿景性待办事项 76
2.7.5 为现有客户构建产品.77
2.7.6 管理变更，勇于担责.78
2.7.7 客户访谈，发现数据需求 78
2.7.8 充分利用白板和原型.79
2.7.9 只构建立即就能投入使用的产品 79
2.7.10 标准化常用实体和KPI .80
2.7.11 数据平台提供自助服务 .80
2.8 小结 .80
第3 章为数据团队而设计 .83
3.1 数据处理机构分类 83
3.2 数据分析驱动型机构 86
3.2.1 愿景 87
3.2.2 角色 88
3.2.3 技术框架 .90
3.3 数据工程驱动型机构 92
3.3.1 愿景 92
3.3.2 角色 94
3.3.3 技术框架 .96
3.4 数据科学驱动型机构 99
3.4.1 愿景 .100
3.4.2 角色 .102
3.4.3 技术框架 103
3.5 小结 104
第4 章迁移框架 . 105
4.1 数据工作流现代化 .105
4.1.1 全局观 105
4.1.2 工作流现代化 .106
4.1.3 工作流自身的改造 108
4.2 四步走迁移框架 .109
4.2.1 准备和发现 . 110
4.2.2 评估和规划 . 110
4.2.3 执行 . 113
4.2.4 优化 . 115
4.3 评估迁移方案的总成本 116
4.3.1 审计现有基础设施 116
4.3.2 索取信息、建议和报价 . 117
4.3.3 概念验证和最小可行产品 118
4.4 建立安全和数据治理机制 . 119
4.4.1 框架 . 119
4.4.2 成果 .121
4.4.3 数据生命周期的治理工作 122
4.5 架构、流水线和数据迁移 .124
4.5.1 架构迁移 124
4.5.2 流水线迁移 .125
4.5.3 数据迁移 127
4.5.4 迁移阶段 132
4.6 小结 134
第5 章构建数据湖 137
5.1 数据湖和云完美结合 137
5.1.1 数据湖本地部署的难点 .137
5.1.2 云数据湖的优点 138
5.2 设计和实现 139
5.2.1 批处理和流处理 139
5.2.2 数据目录 141
5.2.3 Hadoop 生态 143
5.2.4 云数据湖参考架构 144
5.3 集成数据湖：真正的超级力量 149
5.3.1 用API 扩展数据湖 149
5.3.2 数据湖演化：Apache Iceberg、Apache Hudi 和 Delta Lake 149
5.3.3 用笔记本作交互分析151
5.4 数据处理和报表民主化 153
5.4.1 建立对数据的信任 154
5.4.2 数据摄取仍是IT 部门的工作 .156
5.5 数据湖机器学习 .158
5.5.1 用原始数据训练 158
5.5.2 数据湖中作预测 159
5.6 小结 160
第6 章用企业数据仓库创新 163
6.1 现代化数据平台 .163
6.1.1 机构目标 163
6.1.2 技术难点 165
6.1.3 技术趋势和工具 166
6.2 中心辐射架构 168
6.2.1 数据摄取 171
6.2.2 商业智能 176
6.2.3 转换 .179
6.2.4 机构结构 184
6.3 数据仓库赋能数据科学家 .186
6.3.1 查询接口 186
6.3.2 Storage API .187
6.3.3 不移动数据的机器学习 .188
6.4 小结 193
第7 章湖仓一体融合架构 195
7.1 需要唯一架构 195
7.1.1 用户角色 195
7.1.2 反模式：各系统分离196
7.1.3 反模式：数据重复 196
7.2 融合架构.199
7.2.1 两种形式 199
7.2.2 云存储上的湖仓一体200
7.2.3 SQL 优先湖仓一体 205
7.2.4 融合的好处 .210
7.3 小结 212
第8 章流式架构 . 213
8.1 流处理的价值 213
8.1.1 行业应用场景 .213
8.1.2 流处理应用场景 214
8.2 流式摄取.215
8.2.1 流式ETL 216
8.2.2 流式ELT 218
8.2.3 流式插入 219
8.2.4 边缘设备（IoT）流处理 220
8.2.5 流数据存储 .221
8.3 实时看板.222
8.3.1 实时查询 222
8.3.2 物化视图 223
8.4 流式分析.223
8.4.1 时间序列分析 .224
8.4.2 点击流分析 .225
8.4.3 异常检测 227
8.4.4 弹性流处理 .227
8.5 机器学习实现持续智能 228
8.5.1 用流数据训练模型 229
8.5.2 流式机器学习推断 232
8.5.3 自动操作 232
8.6 小结 233
第9 章利用混合和边缘架构扩展数据平台 237
9.1 为什么采用多云 .237
9.1.1 单云更简洁、成本效益更高 237
9.1.2 多云不可避免 .238
9.1.3 多云可以成为一种策略 .239
9.2 多云架构模式 241
9.2.1 统一管理 241
9.2.2 一次编写，到处运行242
9.2.3 从本地平台突击上云243
9.2.4 从本地传递上云 245
9.2.5 流式数据集成 .246
9.3 采用多云策略 248
9.3.1 框架 .248
9.3.2 时间尺度 249
9.3.3 定义多云策略的目标架构 250
9.4 为什么采用边缘计算 252
9.4.1 带宽、时延和不稳定连接 252
9.4.2 应用场景 253
9.4.3 边缘计算的优势 255
9.4.4 挑战 .256
9.5 边缘计算架构模式 .256
9.5.1 智能设备 257
9.5.2 智能网关 257
9.5.3 机器学习激活 .258
9.6 采用边缘计算 260
9.6.1 初始背景 260
9.6.2 项目 .260
9.6.3 最终成果和下一步计划 .263
9.7 小结 264
第10 章 AI 应用架构 . 267
10.1 这是AI 和机器学习问题吗 268
10.1.1 AI 的子领域268
10.1.2 生成式AI 269
10.1.3 适合用机器学习解决的问题 273
10.2 购买、改造或构建 274
10.2.1 对数据的考量 274
10.2.2 何时购买 275
10.2.3 你可以买什么 276
10.2.4 如何改造已有模型 279
10.3 AI 架构 .281
10.3.1 理解非结构化数据 282
10.3.2 生成非结构化数据 284
10.3.3 预测结果 286
10.3.4 预测数值 287
10.3.5 异常检测 289
10.3.6 个性化 .290
10.3.7 自动化 .291
10.4 负责任的AI 293
10.4.1 AI 原则 294
10.4.2 机器学习的公平性 296
10.4.3 可解释性 296
10.5 小结 297
第11 章构建机器学习平台 301
11.1 机器学习活动 301
11.2 开发机器学习模型 303
11.2.1 标注环境 303
11.2.2 开发环境 303
11.2.3 用户环境 304
11.2.4 准备数据 306
11.2.5 训练机器学习模型 307
11.3 部署机器学习模型 309
11.3.1 端点部署 309
11.3.2 评估模型 310
11.3.3 混合和多云 311
11.3.4 训练服务偏差 . 311
11.4 自动化 316
11.4.1 自动化训练和部署 316
11.4.2 用流水线编排 317
11.4.3 持续评估和训练 .319
11.5 选择机器学习框架 320
11.5.1 团队技能 321
11.5.2 任务考量 322
11.5.3 以用户为中心 322
11.6 小结 323
第12 章数据平台现代化：典型案例 325
12.1 新时代新技术 325
12.1.1 亟待改革 326
12.1.2 不只是技术问题 .327
12.2 旅程伊始 329
12.2.1 当前环境 329
12.2.2 目标环境 331
12.2.3 概念验证的应用场景 333
12.3 云供应商提交的RFP 响应文件 334
12.3.1 目标环境 334
12.3.2 迁移方法 338
12.4 RFP 评估过程 345
12.4.1 概念验证的范围 .345
12.4.2 执行概念验证 346
12.4.3 最终决策 347
12.5 结语 348
12.6 小结 349

你还可能感兴趣

我要评论