本书融合作者构建、运维和扩展大型机器学习系统的经验，通过丰富的示例，详细讲解如何运行高效、可靠的机器学习系统。本书首先概述机器学习相关概念和数据管理原则，涵盖数据管理、机器学习模型、评估质量、特征、公平性、隐私等主题；然后介绍机器学习模型及其生命周期；最后讲述如何将机器学习引入组织，以及引入后组织会发生什么等复杂问题。

无论你是小型初创公司还是跨国公司的一员，这本实用的书向数据科学家、软件和网站可靠性工程师、产品经理和企业主展示了如何在你的组织中可靠、有效且负责地运行并建立 ML。你将深入了解从如何在生产环境中监控模型到如何在产品组织中运行一个好的模型开发团队的所有事情。

本书赞誉
不管你是否做过数据科学工作、具备专业的机器学习（ML）和统计学基础知识、逐行阅读了Tensorflow的源代码，也不管你是否从头实现过自己的分布式机器学习训练，在你部署一个基于机器学习的真实系统之前，你都将从阅读本书中受益。这正是即将部署的成千上万个机器学习项目所需要的，因为这些部署项目的实用性是一把双刃剑。部署的项目越有用，有关安全、保障、依赖于你的付费客户、公平性或基于你的系统所做出的决策的风险就越高。本书详尽地介绍了当你有这种级别的责任时需要运行的操作，你可以放心，这是几十年的经验积累。
—Andrew Moore，Google Cloud AI副总裁兼总经理
如果我们这些从事机器学习的人能够应用软件工程的最佳实践，那么MLOps就不会如此痛苦了。这是一本软件工程最佳实践指南，由世界顶级专家精心编写且内容全面。
—Chip Huyen，Designing Machine Learning Systems的作者
这本书是构建真实世界机器学习系统的人的书。它为思考开发机器学习产品的复杂而微妙的问题提供了蓝图。
—Brian Spiering，数据科学讲师



译者序
目前，大语言模型异常火爆，而在大模型时代，MLOps的形态也发生了一定的变化，训练模型的范式完全变了，不再需要大量训练过程，每一次调整prompt都是在训练一个新模型，由于训练变得很容易，因此训练变得更频繁了。所带来的结果就是，模型的评估也变得更频繁了，MLOps的作用体现得更明显了。一旦确定了某个可用模型，训练步骤就结束了，接下来，模型的上线发布策略、在线性能监控、检查漂移、检查SLO就和传统的MLOps无异了。可以说除了训练以外，所有传统机器学习的步骤在大模型时代都需要进行一遍，这更加体现了MLOps的重要性。本书详细介绍了MLOps的各个阶段，如果你想赶上这一波AI的浪潮，那么本书可以说是的。
抛开抓住大语言模型的机遇不谈，本书对于想学习如何落地一个可靠的企业级AI应用的人来说，也是一本不可多得的好书。要落地一个AI应用，开发模型真的只是其中的一小步，其余工程方面的大量工作，就请大家跟着本书作者一点点学习吧。
由于译者水平有限，因此难免会有疏漏之处，如果有任何问题，欢迎大家指正。
林然
2024年于深圳

Cathy Chen曾担任谷歌的技术项目经理、产品经理和工程经理。
Niall Richard Murphy是ML和SRE领域一家初创公司的首席执行官，曾在Amazon、Google、Microsoft工作过。
Kranti Parisa是Dialpad的副总裁兼产品工程主管。
D. Sculley是Kaggle的首席执行官和Google第三方机器学习生态系统的总经理。
Todd Underwood是Google机器学习SRE的高级总监和创始人。

目录
序1
前言5
第1章 引言15
1.1 机器学习的生命周期15
1.1.1 数据收集与分析16
1.1.2 机器学习训练管道17
1.1.3 构建与验证应用程序19
1.1.4 质量和性能评估19
1.1.5 定义与度量服务等级目标20
1.1.6 发布21
1.1.7 监控和反馈循环23
1.2 循环中的教训25
第2章 数据管理原则26
2.1 数据即责任27
2.2 机器学习管道的数据敏感性31
2.3 数据的阶段32
2.3.1 创建33
2.3.2 提取35
2.3.3 处理36
2.3.4 存储39
2.3.5 管理40
2.3.6 分析与可视化41
2.4 数据可靠性41
2.4.1 持久性42
2.4.2 一致性42
2.4.3 版本控制44
2.4.4 性能44
2.4.5 可用性44
2.5 数据完整性44
2.5.1 安全性45
2.5.2 隐私45
2.5.3 政策与合规47
2.6 总结48
第3章 模型的基本介绍50
3.1 什么是模型50
3.2 基本的模型创建工作流51
3.3 模型架构、模型定义与训练过的模型53
3.4 漏洞在哪里54
3.4.1 训练数据54
3.4.2 标签56
3.4.3 训练方法57
3.5 基础设施及管道60
3.5.1 平台60
3.5.2 特征生成60
3.5.3 升级和修复61
3.6 对任何模型提出的一系列实用问题62
3.7 一个机器学习系统示例63
3.7.1 纱线产品点击预测模型64
3.7.2 特征64
3.7.3 特征标签65
3.7.4 模型更新66
3.7.5 模型服务66
3.7.6 常见故障67
3.8 总结68
第4章 特征与训练数据69
4.1 特征69
4.1.1 特征选择和工程71
4.1.2 特征的生命周期72
4.1.3 特征系统74
4.2 标签78
4.3 人工生成的标签79
4.3.1 标注劳动力80
4.3.2 衡量人工标注质量80
4.3.3 标注平台81
4.3.4 主动学习和AI辅助标注81
4.3.5 文档和标注员培训82
4.4 元数据82
4.4.1 元数据系统概述82
4.4.2 数据集元数据83
4.4.3 特征元数据84
4.4.4 标签元数据85
4.4.5 管道元数据85
4.5 数据隐私和公平性86
4.5.1 隐私86
4.5.2 公平性87
4.6 总结87
第5章 评估模型的有效性和质量88
5.1 评估模型的有效性88
5.2 评估模型质量91
5.2.1 离线评估91
5.2.2 评估分布92
5.2.3 一些有用的指标95
5.3 实施验证和评估101
5.4 总结101
第6章 机器学习系统中的公平性、隐私和道德103
6.1 公平性104
6.1.1 公平性的定义107
6.1.2 达到公平111
6.1.3 公平是一个过程而不是终点113
6.1.4 简短的法律说明114
6.2 隐私114
6.2.1 保护隐私的方法116
6.2.2 简短的法律说明118
6.3 负责任的AI119
6.3.1 模型解释119
6.3.2 有效性121
6.3.3 社会和文化适当性123
6.4 机器学习管道中负责任的AI123
6.4.1 用例头脑风暴123
6.4.2 数据收集和清洗124
6.4.3 模型创建和训练124
6.4.4 模型验证和质量评估124
6.4.5 模型部署125
6.4.6 市场产品125
6.5 总结125
第7章 训练系统127
7.1 需求128
7.2 基本训练系统的实施129
7.2.1 特征130
7.2.2 特征存储131
7.2.3 模型管理系统131
7.2.4 编排132
7.2.5 质量评估133
7.2.6 监控133
7.3 一般可靠性原则134
7.3.1 大多数失败不会是机器学习失败134
7.3.2 模型将被重新训练134
7.3.3 模型将同时有多个版本135
7.3.4 好的模型会变坏135
7.3.5 数据将不可用136
7.3.6 模型应该是可改进的137
7.3.7 特征会添加和更改137
7.3.8 模型可能训练得过快138
7.3.9 资源利用很重要139
7.3.10 利用率!=效率140
7.3.11 中断包括恢复时间142
7.4 常见的训练可靠性问题142
7.4.1 数据敏感性142
7.4.2 YarnIt的数据问题示例142
7.4.3 可重现性143
7.4.4 YarnIt的可重现性问题示例144
7.4.5 计算资源量146
7.4.6 YarnIt的资源量问题示例146
7.5 结构可靠性147
7.5.1 组织挑战147
7.5.2 道德和公平性考虑148
7.6 总结148
第8章 服务149
8.1 模型服务的关键问题150
8.1.1 我们模型的负载是什么150
8.1.2 我们模型的预测延迟需求是多少150
8.1.3 模型在哪里运行151
8.1.4 我们的模型需要怎样的硬件153
8.1.5 服务模型要如何存储、加载、版本控制和更新154
8.1.6 用于服务的特征管道是什么样子的154
8.2 模型服务架构155
8.2.1 离线服务（批量推理）155
8.2.2 在线服务（在线推理）158
8.2.3 模型即服务160
8.2.4 边缘服务162
8.2.5 选择架构164
8.3 模型API设计165
8.4 服务于准确性还是弹性166
8.5 扩展167
8.5.1 弹性伸缩168
8.5.2 缓存168
8.6 灾难恢复168
8.7 道德和公平性考虑169
8.8 总结170
第9章 模型的监控和可观测性171
9.1 什么是生产环境监控以及为什么要这么做171
9.1.1 它是什么样的172
9.1.2 机器学习为监控带来的问题173
9.1.3 为何在生产中需要持续的机器学习可观测性174
9.2 机器学习生产监控中的问题175
9.2.1 开发的难点与服务的难点175
9.2.2 需要在观念上有所转变177
9.3 机器学习模型监控的最佳实践177
9.3.1 通用的预服务模型建议178
9.3.2 训练与重新训练179
9.3.3 模型验证（试运行前）182
9.3.4 服务185
9.3.5 其他需要考虑的事情193
9.3.6 监控策略的高层级建议198
9.4 总结200
第10章 持续机器学习201
10.1 剖析持续机器学习系统202
10.1.1 训练样本202
10.1.2 训练标签202
10.1.3 过滤掉坏数据203
10.1.4 特征存储和数据管理203
10.1.5模型更新204
10.1.6将更新后的模型推送到服务中204
10.2 对持续机器学习系统的观察205
10.2.1 外部世界的事件可能影响我们的系统205
10.2.2 模型可以影响其自身的训练数据207
10.2.3时间效应会出现在多种时间维度上208
10.2.4 应急响应必须实时进行209
10.2.5 新发布需要分阶段的提升和稳定的基线213
10.2.6 模型必须被管理，而不是交付即完成215
10.3 持续性组织216
10.4 重新思考非持续机器学习系统218
10.5总结218
第11章 事故响应220
11.1 事故管理基础221
11.1.1 事故的生命周期221
11.1.2 事故响应角色222
11.2 剖析以机器学习为中心的故障224
11.3术语提醒：模型224
11.4 故事时间225
11.4.1 故事1：搜索但没有找到225
11.4.2 故事2：突然间无用的伙伴229
11.4.3 故事3：推荐你寻找新的供应商235
11.5 机器学习事故管理原则242
11.5.1 指导原则243
11.5.2模型开发人员或数据科学家244
11.5.3 软件工程师245
11.5.4 机器学习站点可靠性工程师或机器学习生产工程师246
11.5.5 产品经理或业务负责人249
11.6 特殊话题250
11.6.1 生产工程师以及机器学习工程与建模250
11.6.2 符合道德的待命工程师宣言251
11.7 总结253
第12章 产品和机器学习如何交互255
12.1 不同类型的产品255
12.2 敏捷机器学习256
12.3 机器学习产品开发阶段256
12.3.1 发现和定义256
12.3.2 业务目标设定258
12.3.3 MVP构建和验证260
12.3.4 模型和产品开发261
12.3.5 部署261
12.3.6 支持和维护262
12.4 构建还是购买262
12.4.1 模型263
12.4.2 数据处理基础设施264
12.4.3 端到端平台264
12.4.4 用以做出决策的评分方法265
12.4.5 做出决策266
12.5 由机器学习提供支持的样例YarnIt商店功能266
12.5.1 按总销售额展示受欢迎的纱线266
12.5.2 基于浏览历史的推荐267
12.5.3 交叉销售和向上销售267
12.5.4 基于内容的过滤267
12.5.5 协同过滤267
12.6 总结269
第13章 将机器学习集成到你的组织中270
13.1 本章假设271
13.1.1 基于领导者的视角271
13.1.2 细节很重要271
13.1.3 机器学习需要了解业务271
13.1.4 你做出的最重要的假设273
13.1.5 机器学习的价值273
13.2 重大组织风险274
13.2.1 机器学习不是魔法274
13.2.2 思维模型惯性275
13.2.3 在不同文化中正确表述风险275
13.2.4 孤立的团队并不能解决所有问题276
13.3 实施模型276
13.3.1 记住目标277
13.3.2 绿地还是棕地277
13.3.3 机器学习的角色和职责278
13.3.4 如何雇用机器学习人员279
13.4 组织设计和激励279
13.4.1 战略280
13.4.2 结构281
13.4.3 流程282
13.4.4 奖励282
13.4.5 人员283
13.4.6 关于排序的说明283
13.5 总结284
第14章 实用的机器学习组织实施示例285
14.1 场景1：一个新的集中式机器学习团队285
14.1.1 背景和组织描述285
14.1.2 流程286
14.1.3 奖励287
14.1.4 人员287
14.1.5 默认实施288
14.2 场景2：分散式机器学习基础设施和专业知识289
14.2.1 背景和组织描述289
14.2.2 流程289
14.2.3 奖励290
14.2.4 人员290
14.2.5 默认实施291
14.3 场景3：混合使用集中式基础设施/分散式建模291
14.3.1 背景和组织描述292
14.3.2 流程292
14.3.3 奖励292
14.3.4 人员293
14.3.5 默认实施293
14.4 总结293
第15章 案例研究：实践中的MLOps296
15.1 在机器学习管道中适应隐私和数据保留政策296
15.1.1 背景296
15.1.2问题和解决方案297
15.1.3 要点299
15.2 影响流量的持续机器学习模型299
15.2.1 背景299
15.2.2 问题和解决方案300
15.2.3 要点301