本书围绕大模型的生产实施流程，系统介绍大模型的应用实践方法。第一部分系统地介绍了机器学习的场景分类、深度学习的崛起以及基础模型。第二部分聚焦于应用挑战，详细讲解问题定义、流程、技术，包括嵌入和标记化、向量数据库、微调、部署与推理等。另外，展示了LLM相关的编排与集成策略，以及两个实际索引技术的案例。本书不仅介绍了应用案例，还对前沿技术和未来发展进行了展望，包括可解释性、GANs、强化学习和模型自动化。团队协作、项目管理和持续集成等实践内容也得到充分涵盖。最后，通过一个实践案例章节，读者学习如何调试、部署和运维大模型的LLM应用。这本书将帮助从业者掌握从基础概念到实际应用的全过程，使他们能够构建稳健的应用，将机器学习和深度学习引入现实世界。

李瀚，资深AI系统架构师。长期从事AI平台及AI驱动的应用系统（推荐、搜索和大模型等）的架构设计与开发工作，在AI工程领域拥有深刻的认知和丰富的实战经验，曾设计并开发了企业级机器学习平台和大型模型应用开发平台等创新产品，服务多家世界500强企业AI转型咨询和项目落地。参与编写《MLOps工程实践：工具、技术与企业级应用》。徐斌，拥有10年以上的网络安全经验，在硅谷领先的网络安全公司从事数据分析平台的设计开发工作。精通网络安全防护、漏洞分析与渗透测试，尤其擅长结合数据分析和AI技术优化安全系统的检测与响应能力，如通过深度学习、机器学习等AI技术分析大量的安全数据，实时发现潜在威胁，提升安全防护的效率。

目录
第1章 AI 2.0时代到来 1
1.1 ChatGPT旋风 2
1.1.1 ChatGPT是什么 2
1.1.2 丰富的应用 3
1.1.3 有喜有忧 4
1.2 认识AI 2.0时代 5
1.2.1 何谓大模型 5
1.2.2 AI 1.0时代与AI 2.0时代特点分析 8
1.2.3 新工业革命来临 11
1.3 本章小结 12
第2章 基座大模型准备 13
2.1 大模型的历史与未来 14
2.1.1 发展史 14
2.1.2 未来趋势 15
2.2 基座大模型训练过程 16
2.2.1 预训练 17
2.2.2 人类反馈的强化学习 21
2.3 选择合适的基座大模型 22
2.3.1 主流基座大模型介绍 22
2.3.2 选型标准 25
2.4 本章小结 27
第3章 GPU相关知识 28
3.1 基础知识 29
3.1.1 显卡与GPU 29
3.1.2 GPU与CPU 30
3.2 GPU的优势 32
3.2.1 GPU与深度学习 32
3.2.2 CUDA编程 34
3.3 准备合适的GPU 36
3.3.1 选择合适的GPU（显卡）供应商 36
3.3.2 英伟达与AMD 37
3.3.3 英伟达GPU各项参数 39
3.3.4 选型建议 46
3.4 本章小结 47
第4章 应用开发概览 48
4.1 关键概念 49
4.1.1 提示 49
4.1.2 上下文学习 50
4.2 应用趋势 56
4.2.1 趋势变迁 56
4.2.2 产品形态 59
4.3 技术实现 60
4.3.1 对齐方法 60
4.3.2 优劣势比较 63
4.3.3 应用流程 65
4.4 本章小结 66
第5章 文档处理 67
5.1 分块 68
5.1.1 分块的作用 68
5.1.2 分块的策略 69
5.1.3 策略选择 72
5.2 词元化 73
5.2.1 概念和方法 73
5.2.2 Token采样策略 76
5.3 嵌入 78
5.4 本章小结 84
第6章 向量数据库 85
6.1 基本概念 86
6.2 相关算法 87
6.2.1 向量相似性算法 87
6.2.2 工程中常用的向量搜索折中算法 88
6.3 核心价值 92
6.4 定位 95
6.5 主流产品 97
6.6 本章小结 98
第7章 微调 99
7.1 背景与挑战 100
7.1.1 背景知识 100
7.1.2 技术挑战 102
7.2 参数高效微调技术 104
7.3 工具实践 113
7.3.1 开源工具包 113
7.3.2 模型微调服务 118
7.4 本章小结 121
第8章 推理优化概论 122
8.1 优化目标 123
8.2 理论基础 124
8.2.1 模型大小的指标 124
8.2.2 模型大小对推理性能的影响 127
8.2.3 大模型相关分析 131
8.3 常见优化技术 141
8.3.1 模型压缩 141
8.3.2 Offloading 147
8.3.3 多GPU并行化 147
8.3.4 高效的模型结构 148
8.3.5 FlashAttention 149
8.3.6 PagedAttention 149
8.3.7 连续批处理 150
8.4 本章小结 151
第9章 部署推理工具 152
9.1 推理架构概述 153
9.2 Web服务 156
9.2.1 Streamlit与Gradio 158
9.2.2 FastAPI与Flask 160
9.3 推理执行引擎 161
9.3.1 服务器端推理 161
9.3.2 端侧推理 176
9.4 推理服务 181
9.5 对话类系统 194
9.6 本章小结 196
第10章 提示工程 197
10.1 理论与技术 198
10.1.1 提示的价值 198
10.1.2 应用领域 198
10.1.3 提示工程技术 199
10.2 开发工具 208
10.2.1 OpenAI Playground 210
10.2.2 Dify 211
10.2.3 PromptPerfect 213
10.3 本章小结 214
第11章 编排与集成 215
11.1 相关理论 216
11.1.1 面临的问题 216
11.1.2 核心价值 217
11.1.3 功能构成 217
11.2 典型架构模式 218
11.2.1 RAG 218
11.2.2 Agent 222
11.3 常见编排框架 235
11.3.1 LangChain框架 235
11.3.2 LlamaIndex框架 248
11.3.3 Semantic Kernel框架 253
11.4 本章小结 264
第12章 应用示例 265
12.1 整体架构 266
12.2 开发过程 267
12.2.1 环境准备 267
12.2.2 实现解析 269
12.2.3 打包部署 276
12.2.4 示例演示 281
12.3 本章小结 284
参考文献 285