近年来，在自然语言处理领域，基于预训练语言模型的方法已形成全新范式。本书内容分为基础知识、预训练语言模型，以及实践与应用3个部分，共9章。第一部分全面、系统地介绍自然语言处理、神经网络和预训练语言模型的相关知识。第二部分介绍几种具有代表性的预训练语言模型的原理和机制（涉及注意力机制和Transformer模型），包括BERT及其变种，以及近年来发展迅猛的GPT和提示工程。第三部分介绍了基于LangChain和ChatGLM-6B的知识库问答系统、基于大型语言模型的自然语言处理任务应用研究和大模型训练实战等具体应用，旨在从应用的角度加深读者对预训练语言模型理论的理解，便于读者在实践中提高技能，达到理论和实践的统一。

本书适合计算机相关专业的学生，以及其他对预训练语言模型感兴趣的读者阅读。

基础知识：全面、系统介绍预训练语言模型的相关知识；



预训练语言模型：介绍具有代表性的预训练语言模型的原理和机制；



实践与应用：介绍知识库问答系统、基于自然语言处理任务应用研究、大模型训练实战等具体应用。

自然语言处理工程师，在机器学习、深度学习和自然语言处理领域有十余年的算法研发经验，曾在一线大厂阿里巴巴、京东等担任过资深算法工程师和算法经理等职，现在在世界500强公司担任自然语言处理团队负责人，负责过金融和医疗领域的知识图谱、智能问答系统、文本生成系统等企业级核心项目。

目 录

第 一部分　基础知识



第 1章　自然语言处理介绍2

1.1 什么是自然语言处理2

1.2 自然语言处理的发展历史2

1.3 自然语言的特性3

1.3.1　歧义性4

1.3.2　主观性4

1.3.3　创造性4

1.3.4　社会性5

1.4 自然语言处理的研究领域6

1.5 自然语言处理的常规任务6

1.5.1　机器翻译7

1.5.2　信息抽取8

1.6 自然语言处理的常用工具12

1.6.1　常用工具12

1.6.2　PyTorch介绍13

第 2章　神经网络预备知识18

2.1　神经网络核心概念18

2.1.1　导数和梯度18

2.1.2　链式法则20

2.1.3　损失函数22

2.1.4　前向传播与反向传播24

2.1.5　激活函数28

2.2　神经网络主要类型33

2.2.1　全连接神经网络33

2.2.2　卷积神经网络34

2.2.3　循环神经网络36

2.2.4　长短期记忆网络38

2.2.5　自编码器40

2.2.6　生成对抗网络41

第3章　预训练语言模型基础知识44

3.1　什么是预训练44

3.2　文本表示方法的分类45

3.3　词袋型文本表示方法46

3.3.1　独热编码46

3.3.2　词袋模型47

3.3.3　N-gram49

3.3.4　TF-IDF51

3.4　主题型文本表示方法53

3.4.1　LSA53

3.4.2　LDA57

3.5　固定型词向量文本表示方法59

3.5.1　Word2Vec59

3.5.2　GloVe70

3.5.3　FastText75

3.6　动态型词向量文本表示方法77

3.6.1　ELMo77

3.6.2　ELMo实现78



第二部分　预训练语言模型



第4章　注意力机制和Transformer

模型82

4.1　注意力机制简介82

4.1.1　什么是注意力机制82

4.1.2　自注意力机制88

4.1.3　多头注意力机制95

4.2　Transformer模型97

4.2.1　编码器部分98

4.2.2　解码器部分101

4.2.3　模型示例104

第5章　BERT和变种BERT110

5.1　BERT110

5.1.1　BERT模型结构110

5.1.2　BERT输入表示112

5.1.3　BERT预训练113

5.1.4　BERT微调训练117

5.1.5　模型示例120

5.2　变种BERT122

5.2.1　ALBERT122

5.2.2　XLNet123

5.2.3　RoBERTa127

5.2.4　ELECTRA129

5.2.5　ERNIE132

第6章　GPT和提示工程137

6.1　GPT系列137

6.1.1　GPT-1137

6.1.2　GPT-2140

6.1.3　GPT-3142

6.1.4　InstructGPT和ChatGPT144

6.1.5　GPT-4147

6.2　Prompt148

6.2.1　什么是提示工程148

6.2.2　构建提示模板的方法151

6.2.3　提示工程常用技术152

6.2.4　提示词应用示例157



第三部分　实践与应用



第7章　基于LangChain和ChatGLM-6B的知识库问答系统166

7.1　核心组件166

7.1.1　LangChain166

7.1.2　ChatGLM-6B169

7.2　构建流程172

7.2.1　本地知识库构建172

7.2.2　基于知识库的问答系统

构建173

7.3　趋势与挑战176

7.3.1　发展趋势176

7.3.2　面临的挑战177

第8章　基于大型语言模型的自然语言处理任务应用研究178

8.1　文本分类任务178

8.1.1　任务描述178

8.1.2　提示词设计179

8.1.3　实现与测试180

8.2　信息抽取任务182

8.2.1　任务描述182

8.2.2　提示词设计183

8.2.3　实现与测试184

8.3　文本匹配任务186



8.3.1　任务描述187

8.3.2　提示词设计187

8.3.3　实现与测试187

第9章　大模型训练实战190

9.1　预训练阶段190

9.1.1　数据准备190

9.1.2　数据处理191

9.1.3　词表扩充192

9.1.4　模型预训练193

9.1.5　模型效果评测195

9.2　指令微调阶段197

9.2.1　指令微调197

9.2.2　数据集准备199

9.2.3　指令微调模板202

9.3　奖励模型204

9.3.1　直接打分204

9.3.2　排序打分207

9.4　RLHF微调211

9.4.1　流程介绍211

9.4.2　具体实现211

9.5　大模型评测214

9.5.1　评测内容214

9.5.2　评测方法215

9.5.3　评测挑战216