《深入理解PyTorch》详细阐述了与 PyTorch 相关的基本解决方案，主要包括深度卷积神经网络架构、结合 CNN 和LSTM、深度循环模型架构、高级混合模型、图神经网络、使用 PyTorch 生成音乐和文本、神经风格迁移、深度卷积 GAN、利用扩散生成图像、深度强化学习、模型训练优化、将 PyTorch 模型投入生产、移动设备上的 PyTorch、使用 PyTorch 进行快速原型开发、PyTorch 和 AutoML、PyTorch 与可解释人工智能、推荐系统与 PyTorch、PyTorch 和 Hugging Face 等内容。此外，本书还提供了相应的示例、代码，以帮助读者进一步理解相关方案的实现过程。

深入浅出介绍PyTorch，覆盖CNN、GAN、图神经网络等，含丰富代码示例，适合各层次开发者。

深度学习正引领着人工智能的革命，而 PyTorch 让构建深度学习应用变得前所未有的简单。本书将帮助读者掌握专家技巧，深入洞察数据，充分挖掘其潜力，并构建复杂的神经网络模型。
本书从 PyTorch 开始，首先深入探讨了用于图像分类的卷积神经网络（CNN）架构。然后，将带领读者探索递归神经网络（RNN）架构以及 Transformers，并将其应用于情感分析。接下来，将介绍如何创建任意的神经网络架构，并构建图神经网络（GNNs）。随着讲解的深入，将帮助读者把深度学习（DL）应用于包括音乐、文本和图像生成在内的不同领域，使用包括生成对抗网络（GANs）和扩散模型在内的生成模型。
读者通过学习本书将能在 PyTorch 中构建并训练自己的深度强化学习模型，并解释深度学习（DL）模型。读者不仅将学习如何构建模型，还将学习如何使用专家的技巧和技术将它们部署到生产环境和移动设备（Android 和 iOS）中。随后读者将掌握在分布式环境中高效训练大型模型的技能，并使用 AutoML 有效地搜索神经架构，以及使用 fastai 快速原型化模型。然后，读者将学会使用 PyTorch 创建推荐系统，最后能结合 Hugging Face 的主要库和 PyTorch 构建尖端的人工智能（AI）模型。
通过本书的学习，读者将能够熟练地执行复杂的深度学习任务，使用 PyTorch 构建智能 AI 模型。
适用读者
本书面向数据科学家、机器学习研究人员以及深度学习实践者，他们希望使用 PyTorch 2.x实现高级深度学习范式。阅读本书读者需要具备使用 Python 进行深度学习的工作经验。
本书内容
第 1 章包含对深度学习中各种术语和概念的简要说明，这些内容对于理解本书后续部分非常有帮助。本章还提供了 PyTorch 与 TensorFlow 的快速对比，这两种语言和工具将贯穿全书，用于构建深度学习模型。最后，我们使用 PyTorch 训练了一个神经网络模型。
第 2 章概述了近年来开发的最先进的深度 CNN 模型架构。我们使用 PyTorch 创建了许多这样的模型，并针对适当的任务对它们进行了训练。
第 3 章通过一个实例介绍如何构建一个神经网络模型，该模型结合了卷积神经网络（CNN）和长短期记忆网络（LSTM），在输入图像时输出生成文本和标题，并使用 PyTorch实现。
第 4 章深入探讨递归神经网络架构的最新进展，特别是 RNN、LSTM 和 GRU。完成本章的学习后，读者将能够在 PyTorch 中创建复杂的递归架构。
第 5 章讨论一些先进的、独特的混合神经网络架构，如彻底改变了自然语言处理领域的 Transformers。此外，本章还探讨了 RandWireNNs，一窥神经网络架构搜索的世界，并使用 PyTorch 进行实现。
第 6 章介绍图神经网络（GNNs）背后的基本概念、不同类型的图学习任务以及各种 GNN 模型架构。然后，本章深入探讨了其中一些架构，即图卷积网络（GCNs）和图注意力网络（GATs）。本章选择使用 PyTorch Geometric 作为在 PyTorch 中构建 GNNs 的首选库。
第 7 章展示如何使用 PyTorch 创建深度学习模型，这些模型运行时能够在几乎不提供任何输入的情况下创作音乐和撰写文本。
第 8 章讨论一种特殊的 CNN 模型，它可以混合多个输入图像并生成具有艺术感的任意图像。
第 9 章解释生成对抗网络（GANs）的概念，并使用 PyTorch 在特定任务上训练了一个GAN。
第 10 章从头开始实现了一个扩散模型，作为最先进的文本生成图像模型，并使用PyTorch 实现。
第 11 章探索如何使用 PyTorch 训练深度强化学习任务上的代理，如视频游戏中的玩家。
第 12 章探讨如何通过分布式训练以及 PyTorch 中的混合精度训练实践，用有限的资源高效训练大型模型。本章结束时，读者将掌握使用 PyTorch 高效训练大型模型的技能。
第 13 章详细讲解如何将 PyTorch 编写的深度学习模型部署到真实的生产系统中，并使用 Flask 和 Docker，以及 TorchServe。随后读者将学习如何使用 TorchScript 和 ONNX 导出PyTorch 模型。此外还将学习如何将 PyTorch 代码作为 C 应用程序进行打包。最后，读者将学习如何在一些流行的云计算平台上使用 PyTorch。
第 14 章介绍使用各种预训练的 PyTorch 模型，并将其部署在不同的移动操作系统上。
第 15 章讨论各种工具和库，如 fastai 和 PyTorch Lightning，它们使 PyTorch 中的模型训练过程快了数倍。此外本章还解释了如何分析 PyTorch 代码以理解资源利用情况。
第 16 章介绍如何使用 AutoML 和 Optuna 有效设置机器学习实验，并与 PyTorch 结合使用。
第 17 章重点在于使用 Captum 等工具，并结合 PyTorch，使机器学习模型对普通人也具有可解释性。
第 18 章从头开始构建一个基于深度学习的电影推荐系统，并使用 PyTorch 实现。
第 19 章讨论如何使用 Hugging Face 库，如 Transformers、Accelerate、Optimum 等，与PyTorch 结合构建尖端的多模态 AI 模型。
背景知识
为了充分利用本书，读者需要满足以下前提条件。
（1）需要具备 Python 实际开发经验以及 PyTorch 的基础知识。因为本书中的大部分练习以 Jupyter Notebook 的形式呈现，所以期望读者具有使用 Jupyter Notebook 的工作经验。
（2）某些章节中的一些练习可能需要 GPU 来加速模型训练，因此拥有 NVIDIA GPU是一个加分项。
（3）拥有 AWS、Google Cloud 和 Microsoft Azure 等云计算平台的注册账户将有助于浏览第 13 章的部分内容，并促进第 12 章在多个虚拟机上进行分布式训练。

Ashish Ranjan Jha拥有印度理工学院Roorkee的电气工程学士学位，EPFL(瑞士)的计算机科学硕士学位和Quantic商学院(华盛顿)的工商管理硕士学位。他在所有3个学位中都获得了优异的成绩。他曾就职于甲骨文(Oracle)、索尼(Sony)等大型科技公司，以及revolt等最新的科技独角兽公司，主要专注于人工智能。他目前是一名机器学习工程师。Ashish在机器学习领域有几年的工作经验和专业知识，Python是他的首选工具。他曾参与过一系列产品和项目，从开发一款使用传感器数据预测运输方式的应用程序，到检测汽车损害保险索赔中的欺诈行为。除了是一名作家，机器学习工程师，数据科学家，他还经常在他的个人博客网站上发表关于机器学习的最新研究和工程主题的博客。

第 1 章 PyTorch 深度学习概述 1
1.1 深度学习回顾 2
1.2 优化计划 10
1.3 PyTorch 库与 TensorFlow 的对比 13
1.3.1 张量模块 14
1.3.2 PyTorch 模块 17
1.3.3 使用 PyTorch 训练神经网络 20
1.4 本章小结 30
1.5 参考文献 30
第 2 章 深度卷积神经网络架构 31
2.1 为什么 CNN 如此强大 31
2.2 CNN 架构的演变 34
2.3 从头开始开发 LeNet 36
2.3.1 使用 PyTorch 构建 LeNet 38
2.3.2 训练 LeNet 43
2.3.3 测试 LeNet 44
2.4 微调 AlexNet 模型 46
2.5 运行预训练的 VGG 模型 56
2.6 GoogLeNet 和 Inception v3 58
2.6.1 Inception 模块 58
2.6.2 11 卷积 61
2.6.3 全局平均池化 61
2.6.4 辅助分类器 61
2.6.5 Inception v3 62
2.7 ResNet 和 DenseNet 架构 65
2.7.1 ResNet 65
2.7.2 DenseNet 68
2.8 EfficientNet 和 CNN 架构的未来 72
2.9 本章小结 74
2.10 参考文献 74
第 3 章 结合 CNN 和 LSTM 75
3.1 构建带有 CNN 和 LSTM 的神经网络 75
3.2 使用 PyTorch 构建图像字幕生成器 77
3.2.1 下载图像字幕数据集 78
3.2.2 预处理字幕（文本）数据 79
3.2.3 预处理图像数据 81
3.2.4 定义图像字幕数据加载器 82
3.2.5 定义 CNN-LSTM 模型 84
3.2.6 训练 CNN-LSTM 模型 87
3.2.7 使用训练好的模型生成图像字幕 90
3.3 本章小结 92
3.4 参考文献 92
第 4 章 深度循环模型架构 93
4.1 探索循环网络的演变 94
4.1.1 循环神经网络的类型 94
4.1.2 RNN 96
4.1.3 双向 RNN 97
4.1.4 LSTM 98
4.1.5 扩展和双向 LSTM 100
4.1.6 多维 RNN 100
4.1.7 堆叠 LSTM 100
4.1.8 GRU 101
4.1.9 网格 LSTM 101
4.1.10 门控正交循环单元 102
4.2 训练 RNN 进行情感分析 102
4.2.1 加载和预处理文本数据集 103
4.2.2 实例化并训练模型 108
4.3 构建双向 LSTM 113
4.3.1 加载和预处理文本数据集 113
4.3.2 实例化并训练 LSTM 模型 115
4.4 GRU 和基于注意力的模型 117
4.4.1 GRU 和 PyTorch 117
4.4.2 基于注意力的模型 118
4.5 本章小结 120
4.6 参考文献 120
第 5 章 高级混合模型 121
5.1 构建用于语言建模的 transformer 模型 121
5.1.1 语言建模回顾 122
5.1.2 transformer 模型架构 122
5.1.3 在 PyTorch 中定义 transformer 模型 127
5.2 从头开始开发 RandWireNN 模型 133
5.2.1 理解 RandWireNN 133
5.2.2 利用 PyTorch 开发 RandWireNN 134
5.3 本章小结 143
5.4 参考文献 143
第 6 章 图神经网络 145
6.1 图神经网络简介 145
6.1.1 图神经网络的直观理解 146
6.1.2 在图数据上使用常规 NN 147
6.1.3 通过计算图理解 GNN 的强大能力 148
6.2 图学习任务的类型 150
6.2.1 节点级任务 151
6.2.2 边级任务 152
6.2.3 图级任务 153
6.3 回顾突出的 GNN 模型 153
6.3.1 GCN 中的图卷积 154
6.3.2 在图上使用注意力机制的 GAT 156
6.3.3 执行图采样的 GraphSAGE 157
6.3.4 使用PyTorch Geometric 构建图卷积网络模型 159
6.3.5 加载和探索引用网络数据集 159
6.3.6 构建一个简单的基于神经网络的节点分类器 162
6.3.7 构建用于节点分类的 GCN 模型 167
6.4 使用 PyTorch Geometric 训练 GAT 模型 171
6.5 本章小结 176
6.6 参考文献 176
第 7 章 使用 PyTorch 生成音乐和文本 177
7.1 使用 PyTorch 构建基于 transformer 的文本生成器 177
7.1.1 训练基于 transformer 的语言模型 177
7.1.2 保存和加载语言模型 178
7.1.3 使用语言模型生成文本 179
7.2 使用 GPT 模型作为文本生成器 180
7.2.1 使用 GPT-2 实现即用型文本生成 180
7.2.2 使用 PyTorch 的文本生成策略 181
7.2.3 使用 GPT-3 实现文本生成 187
7.3 使用 PyTorch 并通过 LSTM 生成 MIDI 音乐 189
7.3.1 加载 MIDI 音乐数据 189
7.3.2 定义 LSTM 模型和训练过程 193
7.3.3 训练并测试音乐生成模型 195
7.4 本章小结 198
7.5 参考文献 198
第 8 章 神经风格迁移 199
8.1 如何在图像之间迁移风格 200
8.2 使用 PyTorch 实现神经风格迁移 203
8.2.1 加载内容和风格图像 203
8.2.2 加载并修剪预训练的 VGG19 模型 204
8.2.3 构建神经风格迁移模型 206
8.2.4 训练风格迁移模型 207
8.2.5 尝试风格迁移系统 211
8.3 本章小结 214
8.4 参考文献 214
第 9 章 深度卷积 GAN 215
9.1 定义生成器和鉴别器网络 216
9.2 使用 PyTorch 训练 DCGAN 218
9.2.1 定义生成器 219
9.2.2 定义鉴别器 221
9.2.3 加载图像数据集 222
9.2.4 DCGAN 的训练循环 223
9.3 使用 GAN 进行风格迁移 227
9.3.1 pix2pix 架构 227
9.3.2 pix2pix 生成器 229
9.3.3 pix2pix 鉴别器 233
9.4 本章小结 235
9.5 参考文献 235
第 10 章 利用扩散生成图像 237
10.1 理解使用扩散的图像生成 237
10.1.1 扩散的工作方式 239
10.1.2 训练一个前向扩散模型 239
10.1.3 执行反向扩散或去噪 242
10.2 训练一个用于图像生成的扩散模型 244
10.2.1 使用 Hugging Face 数据集加载数据集 244
10.2.2 使用 torchvision 转换处理数据集 247
10.2.3 使用 diffusers 为图像添加噪声 248
10.2.4 定义 UNet 模型 250
10.2.5 训练 UNet 模型 251
10.3 使用扩散的文本到图像生成 256
10.3.1 将文本输入编码为嵌入向量 257
10.3.2 在（条件）UNet 模型中摄入额外的文本数据 258
10.4 使用 Stable Diffusion 模型从文本生成图像 260
10.5 本章小结 263
10.6 参考文献 263
第 11 章 深度强化学习 265
11.1 回顾强化学习概念 266
11.1.1 算法类型 268
11.1.2 基于模型的强化学习算法 269
11.1.3 无模型的强化学习算法 269
11.2 探讨 Q 学习 270
11.3 深度 Q 学习 274
11.3.1 使用两个独立的 DNN 275
11.3.2 经验回放缓冲区 275
11.4 在 PyTorch 中构建 DQN 模型 276
11.4.1 初始化主 CNN 模型和目标 CNN 模型 276
11.4.2 定义经验回放缓冲区 279
11.4.3 设置环境 279
11.4.4 定义 CNN 优化函数 281
11.4.5 管理和运行回合 282
11.4.6 训练 DQN 模型以学习 Pong 284
11.5 本章小结 287
11.6 参考文献 288
第 12 章 模型训练优化 289
12.1 PyTorch 分布式训练 289
12.1.1 以常规方式训练 MNIST 模型 290
12.1.2 分布式训练 MNIST 模型 292
12.2 CUDA 在 GPU 上进行分布式训练 300
12.2.1 自动混合精度训练 302
12.2.2 在 GPU 上的常规模型训练 302
12.2.3 在GPU 上进行混合精度训练 304
12.3 本章小结 307
12.4 参考文献 307
第 13 章 将 PyTorch 模型投入生产 309
13.1 PyTorch 中的模型服务 309
13.1.1 创建 PyTorch 模型推理管道 310
13.1.2 保存和加载训练模型 310
13.1.3 构建推理管道 312
13.2 构建基础模型服务器 315
13.2.1 使用Flask 编写基础应用程序 316
13.2.2 使用 Flask 构建我们的模型服务器 317
13.2.3 使用 Flask 服务器运行预测 319
13.3 创建模型微服务 321
13.4 使用 TorchServe 提供 PyTorch 模型服务 326
13.4.1 安装 TorchServe 326
13.4.2 启动并使用 TorchServe 服务器 326
13.5 导出使用 TorchScript 和 ONNX 的通用 PyTorch 模型 330
13.5.1 理解 TorchScript 的实用性 330
13.5.2 使用 TorchScript 进行模型追踪 331
13.5.3 使用 TorchScript 进行模型脚本化 334
13.6 在 C 中运行 PyTorch 模型 336
13.7 使用 ONNX 导出 PyTorch 模型 340
13.8 在云端部署 PyTorch 模型 342
13.8.1 使用 PyTorch 与 AWS 342
13.8.2 使用 AWS 实例部署 PyTorch 模型 342
13.8.3 使用 TorchServe 与 Amazon SageMaker 344
13.8.4 在 Google Cloud 上部署 PyTorch 模型 345
13.8.5 使用 Azure 部署 PyTorch 模型 346
13.8.6 使用 Azure 的 DSVM 347
13.8.7 Azure 机器学习服务 347
13.9 本章小结 348
13.10 参考文献 348
第 14 章 移动设备上的 PyTorch 353
14.1 在 Android 上部署 PyTorch 模型 354
14.1.1 将 PyTorch 模型转换为适合移动设备的格式 354
14.1.2 设置 Android 应用程序开发环境 354
14.2 在 Android 应用程序中使用手机相机捕捉图像 357
14.2.1 在应用启动时启用相机 358
14.2.2 在相机捕获的图像上运行机器学习模型推理 362
14.2.3 在 Android 移动设备上启动应用程序 366
14.3 在 iOS 上构建 PyTorch 应用 370
14.3.1 设置 iOS 开发环境 371
14.3.2 在 iOS 应用中使用手机摄像头捕获图像 373
14.3.3 在摄像头捕获的图像上运行机器学习模型推理 375
14.4 本章小结 380
14.5 参考文献 380
第 15 章 使用 PyTorch 进行快速原型开发 383
15.1 使用 fastai 在几分钟内设置模型训练 384
15.1.1 设置 fastai 和加载数据 384
15.1.2 使用 fastai 训练 MNIST 模型 386
15.1.3 使用 fastai 评估和解释模型 387
15.2 使用 PyTorch Lightning 在硬件上训练模型 389
15.2.1 在 PyTorch Lightning 中定义模型组件 390
15.2.2 使用 PyTorch Lightning 训练和评估模型 391
15.3 使用 PyTorch 分析器分析 MNIST 模型推理 394
15.3.1 在 CPU 上进行分析 394
15.3.2 在 GPU 上分析模型推理 399
15.4 本章小结 401
15.5 参考文献 402
第 16 章 PyTorch 和 AutoML 403
16.1 使用 AutoML 寻找最佳神经架构 403
16.1.1 使用 Auto-PyTorch 实现最优 MNIST 模型搜索 404
16.1.2 加载 MNIST 数据集 404
16.1.3 使用 Auto-PyTorch 进行神经架构搜索 405
16.1.4 可视化最优 AutoML 模型 406
16.2 使用 Optuna 进行超参数搜索 410
16.2.1 定义模型架构和加载数据集 410
16.2.2 定义模型训练程序和优化计划 412
16.2.3 运行 Optuna 的超参数搜索 413
16.3 本章小结 416
16.4 参考文献 416
第 17 章 PyTorch 与可解释人工智能 419
17.1 PyTorch 中的模型可解释性 419
17.1.1 手写数字分类器训练 420
17.1.2 可视化模型的卷积滤波器 422
17.1.3 可视化模型的特征图 424
17.2 使用 Captum 解释模型 426
17.2.1 设置Captum 426
17.2.2 探索 Captum 的可解释性工具 427
17.3 本章小结 431
17.4 参考文献 431
第 18 章 推荐系统与 PyTorch 433
18.1 利用深度学习构建推荐系统 434
18.1.1 理解电影推荐系统数据集 434
18.1.2 理解基于嵌入的推荐系统 435
18.2 理解和处理 MovieLens 数据集 437
18.2.1 下载 MovieLens 数据集 437
18.2.2 加载和分析 MovieLens 数据集 438
18.2.3 处理 MovieLens 数据集 440
18.2.4 创建 MovieLens 数据加载器 442
18.3 训练和评估推荐系统模型 443
18.3.1 定义 EmbeddingNet 架构 443
18.3.2 训练 EmbeddingNet 446
18.3.3 评估训练好的 EmbeddingNet 模型 448
18.4 使用训练好的模型构建推荐系统 449
18.5 本章小结 452
18.6 参考文献 452
第 19 章 PyTorch 和 Hugging Face 453
19.1 在 PyTorch 背景下理解 Hugging Face 453
19.1.1 探索与 PyTorch 相关的 Hugging Face 组件 453
19.1.2 将 Hugging Face 与 PyTorch 集成 455
19.2 使用 Hugging Face Hub 获取预训练模型 457
19.3 使用 Hugging Face 数据集库与 PyTorch 460
19.4 使用 Accelerate 加速 PyTorch 模型训练 464
19.5 使用 Optimum 优化 PyTorch 模型部署 466
19.6 本章小结 470
19.7 参考文献 471