本书是一本全面介绍开发与应用DeepSeek大模型的实战指南，旨在帮助读者全面掌握大模型的技术与应用。本书首先介绍DeepSeek的核心概念、功能及未来发展方向，随后深入探讨大模型部署的硬件要求、量化技术、推理速度优化等关键问题，并详细介绍Transforme架构和混合专家模型的理论基础。接着介绍了如何用Ollama和LMStudio等工具在本地部署DeepSeek-R1模型，并结合Cherry Studio构建本地知识库，实现智能问答和知识检索功能。此外，本书还介绍AnythingLLM和Chatbox等大模型应用构建平台，帮助读者扩展应用场景。针对API与程序库的使用,本书详细讲解Ollama的RESTful API、 OpenAI 兼容API以及相关程序库。最后，本书通过介绍多个实战项目(如代码注释翻译器、构建知识库、文章智能配图器、意图鉴别服务、多模态聊天机器人)，使读者可以将理论知识应用于实际开发中，掌握大模型的核心技术。 本书通俗易懂，适合数据科学家、大模型开发者、应用开发者、相关专业学生以及技术爱好者阅读，无论是初学者还是有经验的开发者，都能从本书中获得有价值的知识和技能。

1.覆盖从理论到实战 :本书不仅讲解了大模型的量化技术、推理优化等理论知识，还涵盖丰富的实战项目，帮助读者将理论转化为实际应用。
2.多工具支持 :书中详细介绍了Ollama、LM Studio等本地部署工具，帮助读者快速部署本地大模型，快速上手。
2.实战项目丰富 :五大实战项目（如代码注释翻译器、构建知识库、多模态聊天机器人等），贴近实际场景，让读者快速掌握大模型的核心技术，并在此基础上开发更多创新应用。

李宁 华为HDE（HUAWEI Developer Experts），开放原子基金会银牌讲师，51CTO学堂金牌讲师，IT畅销书作者。从事软件研究和开发超过20年，长期从事编译器、人工智能、Python、JavaScript、Java及跨平台技术的研究和开发工作，曾出版多本图书，包括《鸿蒙征途：App开发实战》《AIGC自动化编程：基于CHATGPT和GITHUB COPILOT》

第 1章 走进DeepSeek世界1
1.1 什么是DeepSeek1
1.1.1 DeepSeek的发展历程2
1.1.2 DeepSeek的核心功能2
1.1.3 DeepSeek的优势3
1.1.4 DeepSeek与其他大模型的比较4
1.2 DeepSeek能做什么4
1.2.1 DeepSeek的应用场景5
1.2.2 用DeepSeek做数学题5
1.2.3 用DeepSeek编程7
1.3 如何使用DeepSeek11
1.3.1 DeepSeek的用户界面和基本操作11
1.3.2 移动端DeepSeek App12
1.3.3 DeepSeek API13
1.4 DeepSeek的DeepSeek-R1模型和蒸馏模型18
1.4.1 DeepSeek-R1模型的原理18
1.4.2 蒸馏模型19
1.5 DeepSeek的未来展望21
1.5.1 DeepSeek的发展趋势和挑战21
1.5.2 DeepSeek对AIGC领域和社会的影响22
1.6 本章小结23

第 2章 DeepSeek大模型部署的硬件要求和技术24
2.1 本地部署DeepSeek-R1的硬件条件24
2.2 大模型到底需要多大的显存26
2.2.1 模型量化与显存占用：不同精度的显存开销27
2.2.2 激活参数与推理显存：生成token的动态消耗27
2.2.3 多用户并发：显存需求的乘法效应28
2.2.4 如何估算大模型推理的显存需求29
2.3 精度与体积的权衡：揭示大模型量化的秘密30
2.3.1 何谓模型量化：为大模型精打细算30
2.3.2 精度标尺：FP32、FP16、Q8 与Q4的位之争30
2.3.3 参数、量化和蒸馏之间的关系31
2.3.4 比特之内的秘密：量化参数的庐山真面目32
2.4 存储带宽瓶颈：推理速度的限制32
2.4.1 什么是存储带宽：数据传输的高速公路32
2.4.2 存储带宽在大模型推理中的作用：将数据喂给计算单元33
2.4.3 量化如何缓解存储带宽的压力：数据瘦身加速传输33
2.4.4 优化技术与存储带宽：多管齐下提升效率33
2.5 推理速度与延迟：除了显存，性能也很重要34
2.5.1 推理速度与延迟：用户体验的晴雨表34
2.5.2 影响推理性能的其他因素34
2.5.3 CPU与GPU的协同：软硬结合，发挥最大效能35
2.6 大模型背后的秘密武器：Transformer架构36
2.6.1 从注意力机制开始：像人类一样思考36
2.6.2 Transformer架构的基本结构：积木搭建的变形金刚36
2.6.3 Transformer架构与硬件需求：大力士的胃口37
2.7 DeepSeek中的MoE38
2.7.1 MoE的基本原理38
2.7.2 MoE的应用38
2.7.3 DeepSeek的创新性MoE39
2.8 本章小结39

第3章 用Ollama本地部署DeepSeek-R141
3.1 Ollama简介41
3.2 安装Ollama42
3.3 Ollama支持的DeepSeek系列模型43
3.4 用Ollama部署模型44
3.5 模型的存储位置45
3.6 在Ollama中进行推理46
3.7 Ollama命令行参数和子命令详解47
3.8 导入GGUF格式的模型文件51
3.9 本章小结51

第4章 用LM Studio本地部署DeepSeek-R152
4.1 LM Studio简介52
4.1.1 什么是LM Studio52
4.1.2 LM Studio的核心功能52
4.1.3 LM Studio的优势53
4.1.4 LM Studio支持的平台53
4.1.5 LM Studio的硬件要求54
4.2 LM Studio的适用场景54
4.3 安装LM Studio55
4.4 LM Studio支持的大模型格式56
4.4.1 大模型格式GGUF56
4.4.2 模型格式MLX57
4.5 本地部署DeepSeek-R1模型58
4.5.1 从Hugging Face下载模型文件58
4.5.2 本地部署DeepSeek-R1模型60
4.5.3 模型加载设置详解61
4.5.4 用LM Studio聊天64
4.5.5 模型推理参数设置65
4.6 本章小结68

第5章 用Cherry Studio建立本地知识库69
5.1 Cherry Studio简介69
5.2 安装Cherry Studio70
5.3 在Cherry Studio中使用DeepSeek-R171
5.4 在Cherry Studio中使用DeepSeek-R1聊天72
5.5 本地知识库的理论基础73
5.5.1 本地知识库、嵌入模型与向量数据库的关系73
5.5.2 嵌入模型74
5.5.3 向量数据库75
5.5.4 嵌入模型与向量数据库的工作流程76
5.5.5 整合本地模型与嵌入模型76
5.6 建立和使用本地知识库78
5.6.1 本地部署嵌入模型78
5.6.2 建立本地知识库78
5.6.3 使用DeepSeek-R1编写仓颉代码80
5.7 智能体80
5.7.1 Cherry Studio中的智能体80
5.7.2 在自定义的智能体中使用知识库82
5.8 远程访问Ollama服务83
5.9 本章小结83

第6章 更多的大模型应用构建平台84
6.1 一体化的开源AI应用平台AnythingLLM84
6.1.1 AnythingLLM简介84
6.1.2 安装AnythingLLM85
6.1.3 本地部署DeepSeek-R1模型86
6.1.4 访问Ollama中的大语言模型87
6.1.5 在AnythingLLM中聊天87
6.1.6 在AnythingLLM中建立本地知识库88
6.2 聊天机器人应用Chatbox89
6.2.1 Chatbox简介89
6.2.2 安装Chatbox90
6.2.3 配置Chatbox90
6.2.4 在Chatbox中聊天90
6.3 本章小结91

第7章 Ollama的RESTful API92
7.1 Ollama API简介92
7.1.1 RESTful API92
7.1.2 程序库93
7.1.3 OpenAI兼容API94
7.2 使用curl测试Ollama RESTful API95
7.2.1 curl简介95
7.2.2 使用curl测试Ollama文本生成API96
7.3 Python Flask基础98
7.3.1 Flask简介98
7.3.2 安装Flask99
7.3.3 一个简单的Flask应用示例99
7.4 模型操作100
7.4.1 列出本地模型100
7.4.2 获取模型信息103
7.4.3 拉取模型108
7.4.4 复制模型111
7.4.5 删除模型112
7.4.6 创建模型113
7.5 会话管理117
7.5.1 单轮会话117
7.5.2 多轮会话124
7.6 文本向量生成126
7.7 本章小结128

第8章 Ollama程序库129
8.1 Ollama程序库简介129
8.2 安装Ollama程序库130
8.3 Node.js基础131
8.3.1 Node.js简介131
8.3.2 安装Node.js131
8.3.3 编写一个Node.js程序132
8.3.4 常用的Node.js内置模块133
8.3.5 使用第三方模块133
8.4 模型操作133
8.4.1 用Python程序库操作模型134
8.4.2 用JavaScript程序库操作模型135
8.5 会话136
8.5.1 用Python程序库实现会话136
8.5.2 用JavaScript程序库实现会话138
8.6 生成文本向量139
8.6.1 用Python程序库生成文本向量139
8.6.2 用JavaScript程序库生成文本向量140
8.7 本章小结141

第9章 Ollama OpenAI兼容API142
9.1 OpenAI API简介142
9.1.1 OpenAI API的概念和特点142
9.1.2 OpenAI API成为兼容标准的原因143
9.1.3 兼容OpenAI API的好处143
9.2 OpenAI API程序库144
9.2.1 使用OpenAI API程序库的优势144
9.2.2 安装OpenAI API程序库145
9.2.3 用其他语言访问OpenAI API146
9.3 3种编程语言实现多轮会话147
9.3.1 用Python通过OpenAI API程序库实现多轮会话147
9.3.2 用JavaScript通过OpenAI API程序库实现多轮会话149
9.3.3 用Go通过HTTP实现多轮会话151
9.4 3种编程语言实现函数调用154
9.4.1 函数调用简介154
9.4.2 用Python通过OpenAI API程序库实现函数调用155
9.4.3 用JavaScript通过OpenAI API程序库实现函数调用159
9.4.4 用Go通过HTTP实现函数调用162
9.5 3种编程语言获取文本向量166
9.5.1 用Python通过OpenAI API程序库获取文本向量167
9.5.2 用JavaScript通过OpenAI API程序库获取文本向量168
9.5.3 用Go通过HTTP获取文本向量168
9.6 调用LM Studio的OpenAI兼容API170
9.7 本章小结171

第 10章 llama.cpp实战172
10.1 llama.cpp基础172
10.1.1 llama.cpp简介172
10.1.2 llama.cpp安装174
10.1.3 命令行交互利器llama-cli176
10.1.4 更简单的大语言模型推理方案llama-run179
10.1.5 大语言模型服务化工具llama-server180
10.1.6 大语言模型基准测试工具llama-bench184
10.1.7 大语言模型量化工具llama-quantize185
10.2 llama-cpp-python基础187
10.2.1 llama-cpp-python简介187
10.2.2 安装llama-cpp-python188
10.2.3 用llama-cpp-python生成文本189
10.2.4 用llama-cpp-python获取文本向量190
10.3 本章小结191

第 11章 项目实战：代码注释翻译器192
11.1 项目简介192
11.2 项目设计与架构193
11.2.1 两大核心模块193
11.2.2 代码注释翻译器的工作流程194
11.3 核心模块代码解析198
11.3.1 注释提取的统一入口198
11.3.2 编程语言类型的快速识别199
11.3.3 注释提取的核心原理与实现技巧200
11.3.4 批量生成翻译prompt203
11.4 主程序代码解析204
11.4.1 加载API配置信息204
11.4.2 调用OpenAI API进行翻译206
11.4.3 替换源代码中的注释208
11.5 运行项目210
11.6 改进方向和扩展211
11.7 本章小结212

第 12章 项目实战：构建知识库213
12.1 知识库与向量数据库213
12.1.1 知识库的原理213
12.1.2 什么是向量数据库214
12.1.3 嵌入模型、向量数据库与知识库的关系214
12.2 Chroma基础215
12.2.1 Chroma简介215
12.2.2 Chroma的主要功能215
12.2.3 安装Chroma216
12.2.4 向量存储与检索216
12.2.5 数据持久化保存217
12.2.6 关联元数据219
12.3 知识库服务项目基础220
12.3.1 项目简介220
12.3.2 项目设计与架构221
12.4 核心代码实现222
12.4.1 获取嵌入向量222
12.4.2 加载知识库223
12.4.3 实现检索功能224
12.4.4 基于Flask的Web服务226
12.5 运行和测试项目227
12.5.1 建立知识库227
12.5.2 启动服务227
12.5.3 使用curl测试项目227
12.5.4 使用Python测试项目228
12.6 改进方向和扩展228
12.7 本章小结 229

第 13章 项目实战：文章智能配图器230
13.1 项目简介230
13.2 项目设计与架构231
13.3 Stable Diffusion基础231
13.3.1 Stable Diffusion简介232
13.3.2 安装Stable Diffusion232
13.3.3 使用Stable Diffusion生成图像233
13.4 Stable Diffusion API234
13.4.1 文生图234
13.4.2 图生图236
13.5 项目核心代码实现238
13.5.1 配置与初始化238
13.5.2 文本处理与prompt生成239
13.5.3 图像生成与保存240
13.6 运行和测试项目242
13.7 改进方向与未来展望242
13.8 本章小结243

第 14章 项目实战：意图鉴别服务244
14.1 项目简介244
14.1.1 意图鉴别：大模型的调度器244
14.1.2 技术创新点：用装饰器定义意图方法245
14.2 项目设计与架构246
14.2.1 意图鉴别服务的工作流程246
14.2.2 系统架构248
14.2.3 项目核心文件及其作用249
14.3 核心代码实现详解250
14.3.1 定义意图方法的装饰器250
14.3.2 使用装饰器定义意图方法251
14.3.3 参数类型映射253
14.3.4 解析装饰器方法并生成Tools JSON254
14.3.5 获取意图信息255
14.3.6 构建意图鉴别Web服务256
14.4 运行和测试项目258
14.5 本章小结259

第 15章 项目实战：多模态聊天机器人260
15.1 项目简介260
15.2 项目设计与架构261
15.2.1 总体设计理念261
15.2.2 系统架构261
15.2.3 运作流程262
15.3 项目核心代码实现262
15.3.1 文件结构与功能概述263
15.3.2 主文件解析263
15.3.3 处理文生图请求266
15.3.4 文章配图功能调用267
15.3.5 使用知识库回答问题267
15.4 运行和测试项目268
15.5 本章小结270