本书采用独特的一问一答式风格，探讨了当今机器学习和人工智能领域中最重要的30 个问题，旨在帮助读者了解最新的技术进展。全书共分为五个部分：神经网络与深度学习、计算机视觉、自然语言处理、生产与部署、预测性能与模型评测。每一章都围绕一个问题展开，不仅针对问题做出了相应的解释，并配有若干图表，还给出了练习供读者检验自身是否已理解所学内容。
本书适合机器学习初学者以及相关从业者和研究人员阅读。
大佬作者：本书由GitHub项目LLMs-from-scratch（star数40.2k）作者、大模型独角兽公司Lightning AI工程师倾力打造；
行业大咖推荐：本书获得了多位行业大咖的推荐，包括Deep (Learning) Focus网站作者Cameron R. Wolfe，AI Engineering一书作者、Claypot AI联合创始人Chip Huyen，维基媒体基金会机器学习主管Chris Albon，How AI Works一书作者Ronald T. Kneusel等；
一问一答式风格：书中采用一问一答式风格，探讨了当今人工智能领域中最重要的30个问题，让读者能够更轻松入门大模型、更透彻解决制作大模型中所遇见的问题和瓶颈；
配套资源丰富：60道练习及其答案 部分源代码。
塞巴斯蒂安·拉施卡（Sebastian Raschka） 威斯康星大学麦迪逊分校统计学副教授，专注于机器学习和深度学习研究。他拥有密歇根州立大学的博士学位，在计算生物学领域提出了几种新的计算方法，曾被科技博客Analytics Vidhya评为GitHub上极具影响力的数据科学家之一。他在Python编程方面拥有多年经验，同时还多次参加数据科学应用与机器学习领域的研讨会。畅销书《Python机器学习》和Machine Learning with PyTorch and Scikit-Learn的作者。
第一部分 神经网络与深度学习
第1章 嵌入、潜空间和表征 2
1.1 嵌入 2
1.2 潜空间 4
1.3 表征 4
1.4 练习 5
1.5 参考文献 5
第2章 自监督学习 6
2.1 自监督学习与迁移学习 6
2.2 使用无标签数据 8
2.3 自预测与对比自监督学习 8
2.4 练习 10
2.5 参考文献 10
第3章 小样本学习 12
3.1 数据集与术语 12
3.2 练习 14
第4章 彩票假设 15
4.1 彩票假设的训练流程 15
4.2 实际意义与局限性 16
4.3 练习 17
4.4 参考文献 17
第5章 利用数据来减少过拟合现象 18
5.1 常用方法 18
5.1.1 采集更多数据 18
5.1.2 数据增强 19
5.1.3 预训练 20
5.2 其他方法 20
5.3 练习 21
5.4 参考文献 21
第6章 通过改进模型减少过拟合现象 23
6.1 常用方法 23
6.1.1 正则化 23
6.1.2 选择更小的模型 25
6.1.3 集成方法 26
6.2 其他方法 27
6.3 选择正则化技术 28
6.4 练习 28
6.5 参考文献 28
第7章 多GPU训练模式 30
7.1 训练模式 30
7.1.1 模型并行 30
7.1.2 数据并行 31
7.1.3 张量并行 31
7.1.4 流水线并行 32
7.1.5 序列并行 33
7.2 建议 34
7.3 练习 34
7.4 参考文献 34
第8章 Transformer架构的成功 36
8.1 注意力机制 36
8.2 通过自监督学习进行预训练 37
8.3 大规模参数 38
8.4 轻松并行化 38
8.5 练习 39
8.6 参考文献 39
第9章 生成式AI模型 40
9.1 生成式模型与判别式模型 40
9.2 深度生成式模型的类型 41
9.2.1 能量模型 41
9.2.2 变分自编码器 42
9.2.3 生成对抗网络 43
9.2.4 流模型 43
9.2.5 自回归模型 44
9.2.6 扩散模型 45
9.2.7 一致性模型 46
9.3 建议 47
9.4 练习 47
9.5 参考文献 47
第10章 随机性的由来 48
10.1 模型权重初始化 48
10.2 数据集采样与重排 49
10.3 非确定性算法 49
10.4 不同运行时的算法 50
10.5 硬件与驱动程序 51
10.6 随机性与生成式AI 51
10.7 练习 53
10.8 参考文献 53
第二部分 计算机视觉
第11章 计算参数量 56
11.1 如何计算参数量 56
11.1.1 卷积层 57
11.1.2 全连接层 58
11.2 实际应用 59
11.3 练习 60
第12章 全连接层和卷积层 61
12.1 当卷积核与输入大小相同时 62
12.2 当卷积核大小为1时 63
12.3 建议 63
12.4 练习 63
第13章 ViT架构所需的大型训练集 64
13.1 CNN中的归纳偏置 64
13.2 ViT可以比CNN表现得更好 67
13.3 ViT中的归纳偏置 67
13.4 建议 68
13.5 练习 69
13.6 参考文献 69
第三部分 自然语言处理
第14章 分布假设 72
14.1 Word2vec、BERT和GPT 73
14.2 假设成立吗 74
14.3 练习 75
14.4 参考文献 75
第15章 文本数据增强 76
15.1 同义词替换 76
15.2 词语删除 77
15.3 词语位置交换 77
15.4 句子乱序 77
15.5 噪声注入 78
15.6 回译 78
15.7 合成数据生成 79
15.8 建议 79
15.9 练习 80
15.10 参考文献 80
第16章 自注意力 81
16.1 RNN中的注意力 81
16.2 自注意力机制 83
16.3 练习 84
16.4 参考文献 84
第17章 编码器和解码器风格的
Transformer架构 85
17.1 原始的Transformer 85
17.1.1 编码器 87
17.1.2 解码器 88
17.2 编码器 解码器混合模型 89
17.3 专业术语 89
17.4 当代Transformer模型 90
17.5 练习 91
17.6 参考文献 91
第18章 使用和微调预训练
Transformer 92
18.1 使用Transformer执行分类任务 92
18.2 上下文学习、索引和提示词调优 94
18.3 参数高效的微调方法 97
18.4 基于人类反馈的强化学习 102
18.5 适配预训练语言模型 102
18.6 练习 103
18.7 参考文献 103
第19章 评测生成式大模型 104
19.1 大模型的评测指标 104
19.1.1 困惑度 105
19.1.2 BLEU 106
19.1.3 ROUGE 107
19.1.4 BERTScore 109
19.2 替代指标 110
19.3 练习 110
19.4 参考文献 110
第四部分 生产与部署
第20章 无状态训练与有状态训练 114
20.1 无状态（重）训练 114
20.2 有状态训练 115
20.3 练习 115
第21章 以数据为中心的人工智能 117
21.1 以数据为中心的人工智能与以模型
为中心的人工智能 117
21.2 建议 119
21.3 练习 119
21.4 参考文献 120
第22章 加速推理 121
22.1 并行化 121
22.2 向量化 122
22.3 循环分块 123
22.4 算子融合 123
22.5 量化 124
22.6 练习 125
22.7 参考文献 125
第23章 数据分布偏移 126
23.1 协变量偏移 126
23.2 标签偏移 127
23.3 概念偏移 128
23.4 领域偏移 128
23.5 数据分布偏移的类型 129
23.6 练习 130
23.7 参考文献 130
第五部分 预测性能与模型评测
第24章 泊松回归与序回归 132
第25章 置信区间 134
25.1 定义置信区间 134
25.2 方法 136
25.2.1 方法1：正态近似区间 136
25.2.2 方法2：使用自助法构建
训练集 137
25.2.3 方法3：使用自助抽样法
构建测试集预测结果 139
25.2.4 方法4：使用不同的随机
种子重新训练模型 140
25.3 练习 141
25.4 参考文献 141
第26章 置信区间与共形预测 142
26.1 置信区间和预测区间 142
26.2 预测区间与共形预测 143
26.3 预测区域、预测区间与预测集合 143
26.4 计算共形预测 143
26.5 共形预测示例 145
26.6 共形预测的优点 146
26.7 建议 146
26.8 练习 146
26.9 参考文献 147
第27章 合适的模型度量 148
27.1 标准 148
27.2 均方误差 149
27.3 交叉熵损失 150
27.4 练习 151
第28章 k折交叉验证中的k 152
28.1 选择k值时的权衡考量 153
28.2 确定适当的k值 154
28.3 练习 154
28.4 参考文献 155
第29章 训练集和测试集的不一致性 156
第30章 有限的有标签数据 158
30.1 利用有限的有标签数据提高模型
性能 158
30.1.1 标注更多数据 158
30.1.2 自助抽样数据 158
30.1.3 迁移学习 159
30.1.4 自监督学习 159
30.1.5 主动学习 160
30.1.6 小样本学习 160
30.1.7 元学习 161
30.1.8 弱监督学习 161
30.1.9 半监督学习 162
30.1.10 自训练 163
30.1.11 多任务学习 163
30.1.12 多模态学习 164
30.1.13 归纳偏置 165
30.2 建议 165
30.3 练习 167
30.4 参考文献 167
后记 168
附录 练习答案 169
新书资讯
