深度学习_陈明_9787302687863_厦门外图集团有限公司

深度学习是人工智能中的核心问题之一，本书较系统地介绍了深度学习的基本内容，共15章，分别为概述、前馈神经网络、卷积神经网络、循环神经网络、深度残差神经网络、Transformer模型、生成对抗网络、深度信念网络、胶囊神经网络、自编码器、强化学习、脉冲神经网络、迁移学习、元学习和大语言模型。
本书注重基本概念、基本方法、基本模型和基本应用的介绍，并通过应用实例来说明深度学习模型与算法，语言精练，逻辑层次清晰，内容先进实用，可以作为大学深度学习课程的教材，也可以作为应用深度学习的科技人员的参考书。

深度学习由著名计算机科学家Geoffrey Hinton等在2006年提出，是基于机器学习延伸出来的一个新领域。它是以神经网络算法为起源，伴随大数据的出现和计算机算力的提升而产生的一系列新的模型与算法。深度学习已成功应用在自然语言处理、语音识别、图像处理与计算机视觉等领域，并在研究与应用上取得了突破性的进展。
人工神经网络是基于生理学的仿真模型，它通过调整其内部大量节点之间的相互连接来达到信息处理的目的，并具有自学习和自适应的能力，是连接主义学派的典型代表。
深度学习的出现基本上解决了一对一映射的问题，因此出现了AlexNet里程碑式的研究成果。但是，单一的深度学习不能解决序列决策问题，强化学习的出现使序列决策问题的解决取得了新的进展。
深度学习利用深度神经网络特有的感知能力对目标的特征进行提取与识别，其卷积核等同于滤波器，从而完成对物体的分类和检测等。深度学习与强化学习融合产生了深度强化学习。深度强化学习结合了深度学习的感知能力和强化学习的决策能力，克服了强化学习只适用于状态为离散而且低维的缺陷，可直接从高维原始数据学习控制策略。但是，深度强化学习过度依赖巨量的训练，并且需要精确的奖赏。然而对于现实世界的很多问题，并没有好的奖赏，也没办法无限量训练，而是需要快速学习的方法。
为了降低深度神经网络模型训练所需的数据量，引入了迁移学习的思想，从而诞生了深度迁移学习技术。深度迁移学习是指利用数据、任务或模型之间的相似性，将在源领域学习过的模型，应用于新领域的一种学习过程。通过将训练好的模型迁移到类似场景，实现只需少量的训练数据就可以达到较好的效果。
元学习是学习的学习，深度元学习面向的不是学习的结果，而是学习的过程。其学习的不是一个直接用于预测的模型，而是学习如何更快更好地学习一个模型。在模型比较中，一个良好的模型能够很好地适应或推广到在训练期间从未遇到过的新任务和新环境，这就是元学习也称为学习的学习的原因。
正在发展中的脉冲神经网络是源于生物启发的新一代人工神经网络模型，属于深度学习的子集，且具有较强的生物基础支撑。脉冲神经网络中的动态神经元不是在每一次迭代传播中都被激活，而是在它的膜电位达到某一个特定值时被激活。当一个神经元被激活时，它将产生一个信号传递给其他神经元，同时提高或降低自身的膜电位。众多学者对深度学习的发展做出了卓越的贡献，他们研发出了卷积神经网络、Transformer模型和深度信念网络等优秀模型，这些模型的出现推动了深度学习的发展。由于篇幅所限，本书仅介绍主要的深度神经网络模型。
大语言模型可以处理多种自然语言任务，如文本分类、问答、翻译等，是通向人工智能的重要途径之一。本书第15章简要介绍了大语言模型的结构与应用。
本书从教材角度构建了内容与体例。全书共15章，分别为概述、前馈神经网络、卷积神经网络、循环神经网络、深度残差神经网络、Transformer模型、生成对抗网络、深度信念网络、胶囊神经网络、自编码器、强化学习、脉冲神经网络、迁移学习、元学习和大语言模型。本书注重基本概念、基本方法、基本模型和基本应用的介绍。如果需要更深入地学习与了解深度学习，可以参考更深入、更全面的有关文献。
本书在结构上呈积木状，各章内容独立论述。由于作者水平有限，书中不足之处在所难免，敬请读者批评指正。

2025年2月

第1章概述/1
1.1深度学习的发展过程2
1.1.1深度学习的起源2
1.1.2深度学习的发展3
1.1.3深度学习的爆发3
1.2机器学习基础4
1.2.1机器学习方式5
1.2.2机器学习的主要流派与演化过程9
1.2.3泛化能力与增强方法10
1.2.4模型性能评价指标13
1.2.5相似性度量与误差计算15
1.3神经网络模型基础21
1.3.1神经网络模型及特点21
1.3.2学习方式与学习规则26
1.3.3深度学习模型34
1.4计算图38
1.4.1计算图的基本组成部分38
1.4.2构建计算图的过程38
1.4.3计算图的优势39
本章小结39
第2章前馈神经网络/40
2.1分类模型40
2.1.1分类系统40
2.1.2判别函数41
2.1.3线性不可分的分类42
2.2感知机43
2.2.1离散感知机43
2.2.2连续感知机45
2.3BP神经网络47
2.3.1多层感知机结构47
2.3.2误差反向传播算法48
2.3.3Dropout方法53
2.3.4回归神经网络53
本章小结55
第3章卷积神经网络/57
3.1卷积神经网络的产生57
3.1.1问题的提出58
3.1.2卷积神经网络的特点58
3.2卷积神经网络的结构59
3.2.1CNN的系统结构60
3.2.2输入层60
3.2.3卷积层62
3.2.4池化层68
3.2.5输出层69
3.3卷积神经网络的训练71
3.3.1CNN的训练过程71
3.3.2CNN的正向传播过程72
3.3.3CNN的反向传播过程72
3.3.4CNN的权值更新73
3.4逆卷积神经网络75
3.4.1逆池化与逆卷积76
3.4.2逆池化运算76
3.4.3逆卷积运算77
3.5卷积神经网络的应用79
3.5.1CNN应用特点79
3.5.2CNN的应用领域80
本章小结80
第4章循环神经网络/81
4.1循环神经网络概述81
4.1.1循环神经网络原理82
4.1.2循环神经网络的记忆能力82
4.2循环神经网络的结构83
4.2.1埃尔曼神经网络83
4.2.2单向循环神经网络83
4.2.3双向循环神经网络87
4.2.4BPTT算法88
4.2.5堆叠循环神经网络91
4.3RNN的I/O模式91
4.3.1序列到类别模式91
4.3.2同步的序列到序列模式92
4.3.3异步的序列到序列模式92
4.4长短期记忆模型93
4.4.1RNN的记忆能力与长期依赖93
4.4.2LSTM结构94
4.4.3模型参数的调节方法96
4.5基于RNN的语言模型97
4.5.1文本处理的编码解码框架97
4.5.2注意力模型98
4.5.3BiRNN注意力模型102
4.5.4词嵌入与词嵌入算法102
本章小结108
第5章深度残差神经网络/109
5.1深度残差神经网络基础109
5.1.1逐层归一化109
5.1.2残差与残差分析111
5.1.3深度残差网络的提出112
5.2残差模块112
5.2.1残差模块的结构112
5.2.2残差模块的类型114
5.2.3残差模块的优势116
5.3ResNet模型117
5.3.1ResNet结构117
5.3.2ResNet参数解析118
5.4DenseNet网络121
5.4.1DenseNet网络结构121
5.4.2DenseNet与ResNet的比较122
5.5深度残差收缩网络123
5.5.1深度残差收缩网络的结构124
5.5.2软阈值化124
5.5.3深度残差收缩网络的残差模块125
本章小结125
第6章Transformer模型/127
6.1Transformer模型的特点与自注意力机制127
6.1.1Transformer模型的特点127
6.1.2自注意力机制128
6.1.3多头注意力机制134
6.2Transformer模型结构138
6.2.1Transformer模型总体架构138
6.2.2位置向量139
6.2.3编码器块140
6.2.4解码器块142
6.3Transformer模型的工作过程与训练147
6.3.1Transformer模型的工作过程147
6.3.2Transformer模型的训练153
6.3.3Transformer模型的并行训练与测试155
本章小结157
第7章生成对抗网络/158
7.1GAN概述158
7.1.1GAN的产生背景158
7.1.2GAN的基本原理159
7.2GAN算法流程160
7.2.1GAN工作过程160
7.2.2GAN结构162
7.3GAN训练163
7.3.1GAN训练特点163
7.3.2GAN训练过程163
7.3.3损失函数164
7.3.4GAN优化166
7.3.5条件生成对抗网络168
7.4多种形式的GAN168
7.4.1多判别器单生成器模型168
7.4.2单判别器多生成器模型169
7.4.3多判别器多生成器模型169
7.5GAN的优点和应用场景170
7.5.1GAN的优点170
7.5.2GAN的应用场景170
本章小结172
第8章深度信念网络/173
8.1DBN的产生与发展173
8.1.1DBN的产生173
8.1.2DBN的发展173
8.2玻尔兹曼机与受限玻尔兹曼机174
8.2.1玻尔兹曼机174
8.2.2受限玻尔兹曼机177
8.2.3受限玻尔兹曼机训练181
8.3DBN的结构与训练183
8.3.1DBN的结构183
8.3.2DBN的训练184
本章小结188
第9章胶囊神经网络/189
9.1胶囊神经网络的产生背景189
9.1.1CNN的缺陷189
9.1.2胶囊方法的提出190
9.2胶囊方法原理190
9.2.1胶囊190
9.2.2胶囊工作过程194
9.3胶囊间动态路由算法196
9.3.1胶囊间动态路由计算197
9.3.2胶囊间动态路由算法的描述198
9.4胶囊神经网络架构举例204
9.4.1手写数字识别的简单胶囊网络架构204
9.4.2CapsNet胶囊神经网络架构205
本章小结208
第10章自编码器/209
10.1自编码器概述209
10.1.1表征学习209
10.1.2自编码器工作原理210
10.2常用自编码器212
10.2.1欠完备的自编码器213
10.2.2稀疏自编码器214
10.2.3栈式自编码器215
10.2.4去噪自编码器219
10.2.5变分自编码器221
10.3深度自编码器224
10.3.1基于多层BP网络的深度自编码器224
10.3.2基于CNN的深度自编码器225
10.4深度自编码器应用226
10.4.1主要应用场景226
10.4.2典型应用226
本章小结227
第11章强化学习/228
11.1强化学习原理229
11.1.1智能体及其特性229
11.1.2RL模型与工作过程230
11.1.3RL算法分类232
11.2SARSA算法234
11.2.1SARSA算法基本原理234
11.2.2SARSA算法流程236
11.2.3SARSA(λ)算法238
11.3QLearning算法240
11.3.1QLearning算法基本原理240
11.3.2QLearning算法流程242
11.3.3QLearning算法与SARSA算法的比较243
11.4策略梯度算法244
11.4.1基于价值的RL算法的局限性244
11.4.2基于策略的算法244
11.4.3蒙特卡洛策略梯度过程244
11.5ActorCritic算法245
11.5.1ActorCritic算法的基本原理245
11.5.2ActorCritic算法流程246
11.6强化学习算法247
11.6.1深度Q网络算法247
11.6.2深度确定性策略梯度算法248
11.7RL的应用249
11.7.1RL应用的方法249
11.7.2RL应用的流程250
11.7.3RL应用的领域250
本章小结251
第12章脉冲神经网络/252
12.1脉冲神经元252
12.1.1类脑计算252
12.1.2SNN与脉冲神经元253
12.1.3SNN的特点257
12.2SNN的结构与编码258
12.2.1SNN的结构258
12.2.2信号转换259
12.3SNN数据集与工作负载261
12.3.1ANN数据集与SNN数据集261
12.3.2工作负载262
12.3.3SNN评价263
12.4SNN的训练264
12.4.1SNN的无监督学习264
12.4.2SNN的监督学习267
12.4.3SNN的强化学习与进化方法269
本章小结270
第13章迁移学习/271
13.1迁移学习概述271
13.1.1同分布数据271
13.1.2迁移学习原理273
13.2迁移学习分类与实现275
13.2.1迁移学习分类准则275
13.2.2典型的迁移学习277
13.2.3迁移学习的实现280
13.3深度迁移学习281
13.3.1深度网络的可迁移性281
13.3.2深度迁移学习的自适应方法285
13.3.3生成对抗迁移网络289
13.4迁移学习的应用场景与方法291
13.4.1迁移学习的应用场景292
13.4.2迁移学习的方法292
本章小结293
第14章元学习/294
14.1元学习概述294
14.1.1元学习的基本原理294
14.1.2元学习的基本特点295
14.2元学习方法297
14.2.1元学习的主要工作297
14.2.2元学习的过程300
14.3MAML模型302
14.3.1MAML的相关概念302
14.3.2MAML算法分析304
14.3.3MAML算法流程305
14.4小样本学习307
14.4.1问题的提出与先验范式的构建307
14.4.2小样本学习方法308
14.4.3小样本相似度学习311
本章小结314
第15章大语言模型/315
15.1大语言模型的产生与发展315
15.1.1语言模型的发展315
15.1.2语言模型的分类320
15.1.3大语言模型的特性与技术突破320
15.2预训练语言模型322
15.2.1常见的预训练语言模型322
15.2.2预训练模型的训练325
15.2.3预训练语言模型架构331
15.3大语言模型类型与涌现能力335
15.3.1静态词向量与动态词向量335
15.3.2大语言模型类型划分336
15.3.3大语言模型的扩展法则与涌现能力337
15.4GPT大语言模型341
15.4.1GPT大语言模型结构与训练过程341
15.4.2ChatGPT的功能与特性347
15.4.3稀疏注意力模式350
15.4.4人类反馈强化学习352
15.4.5近端策略优化算法355
15.4.6提示词工程359
15.5DeepSeek大语言模型365
15.5.1DeepSeek定位365
15.5.2DeepSeek核心技术365
15.5.3DeepSeek训练与部署366
15.5.4DeepSeek行业应用367
本章小结367
参考文献/368

你还可能感兴趣

我要评论