大模型通过在海量数据上进行学习得到通用知识和模式，在自然语言处理、计算机视觉和强化学习等领域表现出强大的通用性和迁移学习能力，BERT、GPT、Stable Diffusion、Sora等功能强大的模型引发了广泛的关注。大模型可能是人工智能领域的颠覆性新范式，因此应当作为计算机、人工智能相关方向的研究生教学的一个重要内容。本书共十讲，按照基本原理、预训练技术、重要应用三个层面展开，从生成模型、自监督学习、强化学习的基本原理出发，系统介绍大语言模型、多模态大模型、决策大模型的预训练技术，以及衍生的自主智能体和世界模拟器等重要应用。本书适合作为计算机、人工智能方向高年级本科生、研究生的教材，也适合作为人工智能领域研究人员和从业人员的参考书。

·人工智能领域专家学者携手打造，系统构建知识体

·以十个方向把握领域前沿，获取领域底层逻辑

·帮助读者快速了解计算机专业方向的基础和前沿

前言
基础大模型是一类基于深度学习的人工智能模型，通过在海量数据上进行预训练，提前学习通用知识和模式，典型进展包括 GPT、Stable Diffusion、Sora 等。大模型可能是人工智能领域的颠覆性新范式，其通用性、泛化性和推理能力均有显著的突破。需要指出的是，它的能力不仅体现在聊天和数据生成方面，实际上它代表了人工智能能力的重要进步。人工智能从过去的泛化能力较弱、鲁棒性不足、仅能解决特定领域任务的模型，逐渐拥有了强通用性、强泛化性和强开放环境适应能力。这种转变使得大模型在自然语言处理、计算机视觉、机器人控制等多个领域取得显著成果。这一变革将不只推动人工智能技术的发展，更重要的是人工智能技术将迅速拓展其在各行各业的应用前景，进而带来生产力和生产效率的巨大飞跃和变迁，引发新一轮的技术和产业革命。相较于过去的技术革命，人工智能首次赋予了技术替代人类部分智力劳动的能力，从而引领着生产力的巨大飞跃。它产生的影响之深远和广泛或许会超越历史上的任何技术变革，将极大地提升生产效率。在科技创新、产业效益、数字经济、公共服务、政府决策和国家安全等诸多领域，人工智能都将产生重大影响。
本书可作为高等院校面向计算机、人工智能等相关专业高年级本科生、研究生的大模型相关课程的教材，也可作为相关专业必修课的延伸阅读材料与参考书。本书着重阐述大模型相关基础原理与技术，建议学生先学完线性代数、高等数学、概率统计、机器学习以及深度学习的相关课程。此外，本书也可作为人工智能领域相关从业人员的参考书。
本书从逻辑上大致可分为四个部分。第一部分（第 1 讲）总览全书，介绍了大模型的发展历程。第 1 讲从计算能力和通用方法的视角概述了大模型前的人工智能历史和大模型的起源、特点，简要介绍了大模型的理论基础、技术与前沿应用，并详细阐述了后续章节之间的理论框架和内在联系，最后展望了大模型的发展。第二部分（第 2～4讲）重点阐述大模型的基础理论，介绍了生成模型、自监督学习和强化学习的主要思想和典型方法。第 2 讲主要围绕表示、学习和推断三个基本问题，介绍了自回归模型、变分自编码器、扩散概率模型和生成对抗网络的基本原理。第 3 讲主要以自监督任务的构建为线索，介绍了自我预测和对比学习两大类方法。第 4 讲主要以决策为核心，系统介绍了强化学习的基本概念，以及表格式强化学习、基于参数化函数的近似，还介绍了
深度强化学习。第三部分（第 5～8 讲）详细介绍大模型训练技术。第 5 讲介绍了预训大模型十讲练模型基础，包括模型架构、预训练任务和典型预训练模型，为后续三讲内容提供技术基础。第 6 讲介绍了大语言模型的动机、调优、典型示例和问题。第 7 讲介绍了图文对齐模型、文到图生成模型、多模态生成与对话模型这三类多模态大模型。第 8 讲介绍了决策任务与大模型、决策策略的表示学习、策略学习和预训练大模型与强化学习。本书第四部分（第 9 和 10 讲）介绍了大模型的适配技术和扩展等。第 9 讲主要介绍了大语言模型的参数微调、提示学习等适配技术，并探讨了如何基于这些构建自主智能体。
第 10 讲围绕构建可控、可交互、动态、真实的物理世界模型展开，介绍图像可控生成与编辑，以及如何完成文到视频生成、文到三维内容生成任务。本书作为教材或者课程参考书，建议学生系统化修读第 1～5 讲，建立起对大模型领域的全面了解，并深入掌握相关基本原理和预训练模型基础技术，进而可以根据授课需要节选第 6～10 讲内容。
除了按照本书顺序外，还可以按照模型类型编排授课顺序。第 6 讲和第 9 讲聚焦大语言模型，第 7 讲和第 10 讲聚焦多模态模型，第 8 讲介绍了决策大模型。本书由中国计算机学会人工智能与模式识别专委会（以下简称专委会）组织编写。 2023 年 4 月，时任专委会副主任（现专委会主任）山西大学梁吉业教授作为主审专家， 时任专委会主任北京交通大学于剑教授、时任专委会副主任（现专委会秘书长）山东大学尹义龙教授、时任专委会秘书长山西大学白亮教授作为审订专家，召集了中国人民大学李崇轩副教授、上海交通大学张伟楠长聘副教授、北京邮电大学杨成副教授担任本书的主编、副主编。编写组 2023 年 5 月听取了审订专家对本书的整体安排的意见并完成了全书章节规划，2023 年 8 月形成样章，2024 年 5 月完成初稿并经过多轮校对与修改
形成了本书此版内容。其中，本书第 1 讲、第 2 讲、第 10 讲由中国人民大学李崇轩副教授编写，第 3 讲由上海交通大学林洲汉助理教授编写，第 4 讲由上海交通大学张伟楠长聘副教授编写，第 5 讲、第 6 讲由北京邮电大学杨成副教授编写，第 7 讲由中国人民大学卢志武教授编写，第 8 讲由上海交通大学温颖助理教授编写，第 9 讲由中国人民大学林衍凯助理教授编写。
感谢中国人民大学赵敏、聂燊、陈路晰、游泽彬、杨国兴、费楠益、卢浩宇、孙泽龙、荆栋、代彦琪、何小龙、龙金强、赵一鸣同学，上海交通大学曹家齐、开聚实、王意轩、尹晓晗、刘一凡、万梓煜、温睦宁同学，北京邮电大学李鑫、陈博宇、孙奥同学对本书内容的贡献。
最后，感谢专委会、机械工业出版社对本书写作和出版的大力支持！
编 者
2025 年 5 月

李崇轩，中国人民大学高瓴人工智能学院准聘副教授、博士生导师，2010-2019年获清华大学学士和博士学位。主要研究机器学习、深度生成模型，代表性工作Analytic-DPM、DPM-Solver作为核心采样技术部署于DALL·E 2、Stable Diffusion等。获国际会议ICLR杰出论文奖、吴文俊优秀青年奖、吴文俊人工智能自然科学一等奖、中国计算机学会优秀博士论文、ACM SIGAI 中国新星奖等。入选博新计划、北京市科技新星，主持、参与多项国家自然科学基金、科技部课题。担任ICLR 2024、NeurIPS 2024领域主席。

前言
第 1 讲 绪论 /1
1.1 概述 /2
1.1.1 大模型前的人工智能历史 /2
1.1.2 大模型的起源 /5
1.1.3 大模型的特点 /7
1.2 大模型的理论基础、技术与前沿应用 /8
1.2.1 大模型的理论基础 /9
1.2.2 大模型的训练技术 /12
1.2.3 大模型的扩展与前沿应用 /14
1.3 大模型的发展展望 /16
1.3.1 大模型的应用前景 /16
1.3.2 大模型的未来研究方向 /17
参考文献 /19
第 2 讲 生成模型 /23
2.1 生成模型概述 /24
2.1.1 三个基本问题 /25
大模型十讲
2.1.2 深度生成模型 /27
2.2 自回归模型 /28
2.2.1 自回归模型的表示 /28
2.2.2 自回归模型的学习 /31
2.2.3 自回归模型的推断 /32
2.3 变分自编码器 /33
2.3.1 变分自编码器的表示 /33
2.3.2 变分自编码器的学习 /34
2.3.3 变分自编码器的推断 /37
2.4 扩散概率模型 /38
2.4.1 扩散概率模型的表示 /38
2.4.2 扩散概率模型的学习 /40
2.4.3 扩散概率模型的推断 /43
2.5 生成对抗网络 /44
2.5.1 生成对抗网络的表示 /44
2.5.2 生成对抗网络的学习 /45
2.5.3 生成对抗网络的推断 /46
2.6 本讲小结 /47
2.7 延伸阅读 /48
2.8 课后习题 /48
参考文献 /49
第 3 讲 自监督学习 /53
3.1 自监督模型概述 /54
vi
目 录
3.1.1 自监督学习的由来 /54
3.1.2 两个基本问题 /56
3.2 自我预测 /58
3.2.1 自编码器 /59
3.2.2 掩码预测 /65
3.2.3 其他自我预测的方法 /72
3.3 对比学习 /73
3.3.1 噪声对比估计的基本原理 /74
3.3.2 对比预测编码 /75
3.3.3 对比检索器 /78
3.4 本讲小结 /81
3.5 延伸阅读 /81
3.6 课后习题 /82
参考文献 /82
第 4 讲 强化学习 /85
4.1 决策式人工智能 /86
4.1.1 预测、生成与决策 /86
4.1.2 决策式任务分类 /87
4.1.3 序贯决策 /88
4.2 强化学习的基本概念 /89
4.2.1 什么是强化学习 /89
4.2.2 强化学习的环境建模：马尔可夫决策过程 /90
4.2.3 智能体策略、价值与优化目标 /91
vii
大模型十讲
4.2.4 强化学习中的数据分布 /92
4.2.5 探索与利用 /93
4.3 表格式强化学习 /94
4.3.1 动态规划方法 /94
4.3.2 无模型的强化学习方法 /96
4.4 基于参数化函数的近似 /98
4.4.1 参数化的价值函数 /98
4.4.2 参数化的策略 /99
4.4.3 ActorCritic
方法 /100
4.5 深度强化学习 /102
4.5.1 深度学习和强化学习的结合 /102
4.5.2 深度价值函数 /103
4.5.3 深度策略方法 /104
4.6 延伸阅读 /106
4.6.1 强化学习的启示 /106
4.6.2 强化学习技术落地挑战 /107
4.7 课后习题 /108
参考文献 /110
第 5 讲 预训练模型基础 /113
5.1 预训练模型概述 /114
5.2 模型架构 /115
5.2.1 简单神经网络 /115
5.2.2 循环神经网络 /116
viii
目 录
5.2.3 Transformer /119
5.3 预训练任务 /128
5.3.1 语言模型类任务 /129
5.3.2 对比学习类任务 /131
5.4 典型预训练模型 /132
5.4.1 Word2vec /133
5.4.2 ELMo /134
5.4.3 BERT /135
5.4.4 GPT /136
5.4.5 T5 /137
5.5 本讲小结 /139
5.6 延伸阅读 /139
5.7 课后习题 /140
参考文献 /141
第 6 讲 大语言模型 /145
6.1 大语言模型概述 /146
6.2 大语言模型的动机 /147
6.2.1 扩展定律 /147
6.2.2 能力涌现 /148
6.3 大语言模型的调优 /149
6.3.1 指令调优 /150
6.3.2 对齐调优 /153
6.4 典型大语言模型 /158
ix
大模型十讲
6.5 大语言模型的问题 /160
6.5.1 幻觉 /160
6.5.2 安全 /165
6.5.3 其他问题 /169
6.6 本讲小结 /170
6.7 延伸阅读 /171
6.8 课后习题 /172
参考文献 /173
第 7 讲 多模态大模型 /187
7.1 图文对齐模型 /188
7.1.1 双流模型 /188
7.1.2 单流模型 /192
7.1.3 混合模型 /195
7.2 文到图生成模型 /197
7.2.1 基于生成对抗网络架构的方法 /198
7.2.2 基于 Transformer 架构的方法 /201
7.2.3 基于扩散模型架构的方法 /202
7.3 多模态生成与对话模型 /205
7.3.1 多模态信息理解 /205
7.3.2 多模态内容生成 /210
7.4 本讲小结 /212
7.5 延伸阅读 /212
7.6 课后习题 /213
x
目 录
参考文献 /214
第 8 讲 决策大模型 /219
8.1 决策任务与大模型 /220
8.1.1 基于 Transformer 架构的强化学习 /220
8.1.2 决策任务的知识模态 /222
8.1.3 面向大模型的决策任务学习范式 /223
8.2 决策策略的表示学习 /225
8.2.1 决策序列数据的离散化 /225
8.2.2 状态 --动作的表示学习 /227
8.2.3 奖励的表示学习 /229
8.3 策略学习 /232
8.3.1 离线策略学习 /233
8.3.2 在线策略学习 /233
8.3.3 多智能体策略学习 /234
8.4 预训练大模型与强化学习 /235
8.4.1 大模型辅助的层次化任务分解 /235
8.4.2 工具使用的策略优化 /236
8.4.3 基于强化反馈的大模型推理增强 /236
8.5 本讲小结 /237
8.6 延伸阅读 /238
8.7 课后习题 /240
参考文献 /241
xi
大模型十讲
第 9 讲 大语言模型的适配技术与自主智能体 /245
9.1 参数微调 /246
9.1.1 全参数微调 /246
9.1.2 高效参数微调 /248
9.2 提示学习 /255
9.2.1 任务指令设计 /257
9.2.2 任务映射方式设计 /258
9.2.3 思维链推理提示 /259
9.3 大模型自主智能体与工具学习 /263
9.3.1 大模型自主智能体构建 /263
9.3.2 大模型自主智能体应用 /273
9.4 本讲小结 /276
9.5 延伸阅读 /276
9.6 课后习题 /277
参考文献 /278
第 10 讲 多模态大模型的扩展与世界模拟器 /285
10.1 图像可控生成与编辑 /286
10.1.1 图到图翻译 /287
10.1.2 个性化生成 /292
10.1.3 引入额外控制条件 /294
10.1.4 交互式拖拽生成 /295
10.2 文到视频生成 /297
xii
目 录
10.2.1 基于文到图模型的视频生成与编辑 /298
10.2.2 文到视频基础模型 /300
10.3 文到三维内容生成 /304
10.3.1 三维内容的表示与渲染 /305
10.3.2 基于文到图模型的零样本三维内容生成 /307
10.3.3 基于文到图模型的多视图生成 /310
10.3.4 文到三维内容的基础模型 /311
10.4 本讲小结 /313
10.5 延伸阅读 /314
10.6 课后习题 /314
参考文献 /315