本书作为基于深度学习的自然语言处理基础教程，介绍基于深度学习的自然语言处理领域的各种技术范式以及相关概念，构建该领域的知识体系，帮助读者对该领域知识有全面和系统的了解。全书共12章，分别介绍深度学习自然语言处理数据资源、常用的神经网络模型、语言模型的基本概念、注意力机制的基本概念、自然语言处理基本任务及建模方法、预训练语言模型，以及典型的自然语言处理核心任务模型。

更多科学出版社服务，请扫码获取。

1982.9~1986.7 太原理工大学 本科 学士 1994.9~2000.6 北京科技大学 硕士/博士1986.7~ 1994.8 太原理工大学 计算中心任教 助教 2000.7~2013 北京科技大学 自动化系 副教授/教授，博导 2013~现在, 中国科学院信息工程研究所, 研究员控制科学与工程 人工智能方向作为通讯作者、第一作者发表论文60篇，其中SCI检索30篇、EI检索50篇；专利成果26个；发表学术著作2个无

目录
前言
第1章 绪论 1
1.1 人工智能与自然语言处理 1
1.1.1 人工智能 1
1.1.2 自然语言处理 1
1.1.3 自然语言处理知识体系 2
1.2 自然语言处理任务 2
1.3 自然语言处理技术 3
1.3.1 自然语言处理学派 3
1.3.2 自然语言处理发展历程及技术变迁 4
1.4 自然语言处理技术支撑理论及资源 6
1.5 本书知识体系 8
参考文献 10
第2章 深度学习自然语言处理数据资源 11
2.1 任务数据资源 12
2.1.1 文本分类 12
2.1.2 情感分析 12
2.1.3 机器翻译 13
2.1.4 文本摘要 13
2.1.5 机器阅读理解 14
2.1.6 问答系统 14
2.2 预训练数据资源 15
2.2.1 网页数据 15
2.2.2 书籍 16
2.2.3 学术资料 17
2.2.4 维基百科 17
2.2.5 代码 18
2.3 预训练微调数据资源 18
2.3.1 指令微调数据集 18
2.3.2 人类价值观对齐数据集 19
2.4 其他资源 20
2.5 本章小结 21
参考文献 21
第3章 深度学习基础知识 25
3.1 神经网络基本概念 25
3.1.1 人工神经网络 25
3.1.2 神经网络基本特征 25
3.2 前馈神经网络 26
3.2.1 人工神经元模型 26
3.2.2 激活函数 26
3.2.3 前馈神经网络模型结构 29
3.2.4 神经网络的梯度下降法 30
3.2.5 前馈神经网络的反向传播算法 30
3.3 卷积神经网络 32
3.3.1 概述 32
3.3.2 卷积神经网络结构 32
3.3.3 卷积神经网络学习 34
3.3.4 卷积神经网络应用 34
3.4 循环神经网络 35
3.4.1 概述 35
3.4.2 循环神经网络结构 35
3.4.3 循环神经网络训练 36
3.4.4 梯度消失和爆炸 37
3.4.5 循环神经网络变体 38
3.4.6 循环神经网络应用 39
3.5 本章小结 40
参考文献 40
第4章 语言模型与词向量 41
4.1 统计语言模型 41
4.1.1 语言模型基本概念 41
4.1.2 语言模型参数学习 43
4.1.3 参数的数据平滑 44
4.1.4 语言模型性能评估 45
4.1.5 语言模型应用 46
4.1.6 语言模型变体扩展 47
4.2 神经网络语言模型 49
4.2.1 神经网络语言模型概述 49
4.2.2 前馈神经网络语言模型 50
4.2.3 循环神经网络语言模型 52
4.2.4 循环神经网络语言模型变体 54
4.3 浅层词向量 56
4.3.1 词表示概述 57
4.3.2 经典词向量表示模型 60
4.3.3 词向量特征及应用 67
4.4 本章小结 68
参考文献 68
第5章 自然语言处理中的注意力机制 69
5.1 注意力机制概述 69
5.2 注意力模块 70
5.2.1 注意力模块结构 70
5.2.2 模块训练与评估 71
5.2.3 注意力模块相关术语 71
5.3 传统注意力模块应用 72
5.4 注意力编码机制模块应用 73
5.4.1 单一向量编码 74
5.4.2 不同序列间的编码 75
5.4.3 同一序列间的编码 76
5.5 本章小结 77
参考文献 77
第6章 自然语言处理基本任务 78
6.1 文本分类 78
6.1.1 文本分类任务概述 78
6.1.2 神经网络文本分类方法 78
6.1.3 文本分类评估指标 81
6.2 文本匹配 83
6.2.1 文本匹配任务概述 83
6.2.2 文本匹配方法 83
6.3 序列标注 84
6.3.1 序列标注任务概述 84
6.3.2 神经网络序列标注方法 85
6.3.3 典型神经网络序列标注模型 86
6.4 序列生成 88
6.4.1 序列生成任务定义 88
6.4.2 序列生成模型 88
6.4.3 生成式解码模型 89
6.4.4 选择式解码模型 97
6.4.5 选择-生成混合解码模型 98
6.4.6 序列生成模型评估指标 100
6.5 本章小结 101
参考文献 101
第7章 预训练语言模型 102
7.1 预训练语言模型概述 102
7.1.1 预训练语言模型基本思想 102
7.1.2 预训练语言模型发展历程 103
7.2 预训练语言模型+精调阶段（第三范式） 104
7.2.1 编码器结构：BERT 104
7.2.2 解码器结构：GPT-1 106
7.2.3 编码-解码器结构：BART 107
7.3 预训练语言模型+提示工程阶段（第四范式） 108
7.3.1 提示学习 109
7.3.2 答案工程 110
7.3.3 提示微调策略 111
7.4 大语言模型+提示工程阶段（第五范式） 111
7.4.1 第一代大语言模型：快回答 112
7.4.2 第二代大语言模型：慢思考 121
7.5 国产大语言模型杰出代表：DeepSeek-R1 127
7.5.1 DeepSeek-V系列语言模型 128
7.5.2 DeepSeek-R系列推理模型 129
7.6 本章小结 133
参考文献 133
第8章 机器翻译 136
8.1 深度学习机器翻译概述 136
8.2 典型神经机器翻译模型 137
8.2.1 RNN编码-解码模型 137
8.2.2 基于注意力机制的RNN 编码-解码模型 137
8.2.3 谷歌神经机器翻译系统 138
8.2.4 卷积编码-解码模型 138
8.2.5 Transformer模型 139
8.3 神经机器翻译解码策略改进 140
8.3.1 推敲网络 140
8.3.2 非自回归机器翻译模型 142
8.3.3 基于隐变量的非自回归模型 142
8.4 神经机器翻译系统需要考虑的问题 143
8.4.1 词表受限问题 144
8.4.2 翻译覆盖率问题 144
8.4.3 系统鲁棒性问题 145
8.5 低资源神经机器翻译 146
8.5.1 少量双语语料和大量单语语料 146
8.5.2 无双语语料只有单语语料 147
8.6 多语言预训练语言模型 148
8.6.1 XLM 148
8.6.2 mBART 148
8.7 本章小结 149
参考文献 149
第9章 情感分析 151
9.1 情感分析概述 151
9.2 情感极性分类 152
9.2.1 任务定义 152
9.2.2 任务框架 152
9.2.3 技术路线 153
9.3 属性情感分析 154
9.3.1 任务定义 154
9.3.2 技术路线 154
9.4 本章小结 157
参考文献 157
第10章 信息抽取 159
10.1 信息抽取概述 159
10.1.1 基本概念 159
10.1.2 发展历史 159
10.1.3 任务定义 160
10.2 命名实体识别 160
10.2.1 相关概念 160
10.2.2 简单命名实体识别 161
10.2.3 复杂命名实体识别 162
10.3 关系抽取 164
10.3.1 任务定义 164
10.3.2 主要方法 164
10.4 事件抽取 166
10.4.1 任务定义 167
10.4.2 任务实现步骤 167
10.4.3 任务实现方法 167
10.4.3 评估 171
10.5 本章小结 172
参考文献 172
第11章 机器阅读理解 173
11.1 机器阅读理解概述 173
11.2 任务定义 174
11.3 神经机器阅读理解模型框架 174
11.4 神经机器阅读理解各类任务及典型模型 176
11.4.1 完形填空式机器阅读理解任务 176
11.4.2 多项选择式机器阅读理解任务 177
11.4.3 片段抽取式机器阅读理解任务 178
11.4.4 自由生成式机器阅读理解任务 180
11.5 机器阅读理解的主要挑战与开放性问题 182
11.5.1 机器阅读理解的可解释性 182
11.5.2 机器阅读理解的鲁棒性 182
11.5.3 机器阅读理解的长文章理解能力 182
11.5.4 机器阅读理解的输入文本受限 183
11.5.5 机器阅读理解的推理能力 183
11.5.6 机器阅读理解的已知知识利用 183
11.5.7 机器阅读理解的自主利用无标注资源 184
11.5.8 机器阅读理解的迁移能力 184
11.6 本章小结 184
参考文献 184
第12章 对话系统 187
12.1 对话系统概述 187
12.1.1 背景 187
12.1.2 对话系统的特点与分类 187
12.2 开放领域对话 187
12.2.1 基于检索的开放领域对话系统 188
12.2.2 基于生成的开放领域对话系统 188
12.2.3 检索-生成融合的开放领域对话系统 189
12.2.4 开放领域对话系统中的关键问题 189
12.3 任务型对话 192
12.3.1 基于管道结构的任务型对话系统 192
12.3.2 基于端到端的任务型对话系统 194
12.3.3 任务型对话系统发展趋势 196
12.4 本章小结 197
参考文献 197