本书系统阐述了DeepSeek大模型架构、部署及应用实战的相关内容。从人工智能和大模型的基础理论出发，深入剖析了DeepSeek的底层技术，如Transformer架构、混合专家、动态任务分配、稀疏激活、归一化、专家并行、注意力计算优化及双向流水线并行等关键技术，并详细介绍了模型训练、优化和推理的前沿方法。书中不仅展示了DeepSeek在多模态模型和推理系统中的技术优势，还提供了丰富的实战案例，涵盖了从本地部署到云端应用，再到API接入以及与办公软件、开发工具和Web交互系统的无缝集成。通过理论解析与实践演示，读者将获得从模型设计到实际应用全流程的详细指导。 本书非常适合人工智能领域的技术开发者、系统架构师，以及初探大模型应用的爱好者学习，也可用作高等院校相关专业的教材及参考书。

第1章 人工智能和DeepSeek概述　　001 1.1　人工智能　　002 1.1.1　什么是人工智能　　002 1.1.2　人工智能的起源与发展历程　　003 1.2　大模型　　003 1.2.1　大模型的原理和作用　　004 1.2.2　大模型的兴起与现状　　004 1.2.3　主流大模型介绍　　006 1.3　DeepSeek　　007 1.3.1　DeepSeek简介　　007 1.3.2　DeepSeek对人工智能市场的影响　　008 1.3.3　DeepSeek的产品　　008 1.3.4　DeepSeek的应用场景　　010 1.3.5　DeepSeek与其他模型的技术对比　　011 第2章 DeepSeek底层架构技术　　013 2.1　Transformer架构技术　　014 2.1.1　Transformer简介　　014 2.1.2　Transformer的核心组件　　014 2.1.3　多头注意力机制　　016 2.1.4　多头潜在注意力　　016 2.2　动态任务分配　　017 2.2.1　动态任务分配的特点和原理　　018 2.2.2　动态任务分配的应用场景　　019 2.3　稀疏激活机制　　021 2.3.1　稀疏激活机制简介　　021 2.3.2　稀疏激活机制的实现方式　　022 2.3.3　稀疏激活机制的应用领域　　025 2.4　混合专家架构技术　　026 2.4.1　混合专家架构简介　　027 2.4.2　MoE的特点　　028 2.4.3　MoE的应用　　029 2.4.4　DeepSeek中的MoE　　030 2.5　归一化技术　　031 2.5.1　归一化技术的必要性　　031 2.5.2　LayerNorm技术　　032 2.5.3　RMSNorm技术　　033 2.6　模型训练与优化技术　　034 2.6.1　多令牌预测（MTP）技术　　034 2.6.2　高效并行策略　　035 2.6.3　混合精度训练与量化策略　　035 2.6.4　EMA显存优化　　036 2.6.5　头尾参数共享　　037 第3章 DeepSeekMoE架构　　039 3.1　DeepSeekMoE架构简介　　040 3.1.1　背景　　040 3.1.2　DeepSeekMoE架构策略　　041 3.1.3　DeepSeekMoE与传统MoE架构的区别　　041 3.2　DeepSeekMoE架构详解　　042 3.2.1　细粒度专家细分　　042 3.2.2　共享专家隔离　　043 3.2.3　负载平衡　　043 3.3　DeepSeekMoE的微调　　045 3.3.1　DeepSeekMoE微调技术介绍　　045 3.3.2　ZeRO优化　　046 3.3.3　具体实现　　047 3.4　性能评估　　051 3.4.1　训练数据和分词　　051 3.4.2　硬件基础设施　　052 3.4.3　设置超参数　　052 3.4.4　评估基准　　053 3.4.5　评估结果　　054 3.4.6　和稠密模型的对比　　056 3.4.7　DeepSeekMoE 2B模型测试　　057 3.5　消融研究　　058 3.5.1　消融研究介绍　　058 3.5.2　消融研究在大模型中的应用　　059 3.5.3　DeepSeekMoE的消融研究　　059 3.6　DeepSeekMoE 16B测试　　060 3.6.1　训练数据和分词　　060 3.6.2　设置超参数　　061 3.6.3　评估基准　　062 3.7　DeepSeekMoE 16B的对齐　　063 3.7.1　测试设置　　063 3.7.2　评估结果　　064 第4章 DeepSeek推理模型架构　　066 4.1　背景　　067 4.2　DeepSeek-R1模型简介　　067 4.2.1　DeepSeek-R1模型演进　　067 4.2.2　DeepSeek-R1模型的基本架构　　068 4.2.3　训练方案　　069 4.2.4　开源信息　　070 4.3　推理模型的相关技术　　071 4.3.1　混合专家（MoE）架构　　071 4.3.2　多头潜在注意力　　072 4.3.3　强化学习　　073 4.4　DeepSeek-R1-Zero训练方案　　074 4.4.1　强化学习算法　　075 4.4.2　奖励建模　　076 4.4.3　训练模板　　078 4.4.4　DeepSeek-R1-Zero的自我进化过程　　078 4.4.5　在DeepSeek-R1-Zero的“顿悟时刻”　　080 4.4.6　DeepSeek-R1-Zero性能测试　　081 4.5　DeepSeek-R1训练方案　　081 4.5.1　冷启动　　082 4.5.2　推理导向的强化学习　　083 4.5.3　拒绝采样和监督微调　　084 4.5.4　全场景强化学习　　086 4.6　蒸馏处理　　088 4.6.1　AI大模型中的蒸馏处理　　088 4.6.2　基础模型的选择与蒸馏过程　　090 4.6.3　模型蒸馏的技术原理　　091 4.6.4　评估蒸馏模型　　092 第5章 条件记忆与稀疏大语言模型：Engram　　094 5.1　大模型稀疏化的背景与动机　　095 5.2　从“计算”到“记忆”：条件记忆范式的提出　　095 5.3　Engram模块的整体架构设计　　095 5.4　基于哈希的稀疏N-gram检索机制　　095 5.5　上下文感知的记忆门控与融合机制　　095 5.6　Engram与多分支Transformer架构的集成　　095 5.7　系统层设计：计算与存储的解耦　　095 5.8　稀疏容量分配与缩放规律　　095 第6章 DeepEP高效专家并行通信库　　096 6.1　背景　　097 6.2　模块介绍　　097 6.3　Python接口层　　099 6.3.1　辅助工具　　099 6.3.2　专家并行通信管理　　101 6.4　C++绑定层　　102 6.4.1　分发与合并配置　　102 6.4.2　缓冲区和共享内存管理　　108 6.4.3　DeepEP多设备专家并行通信与调度　　113 6.5　核心通信实现层　　114 6.5.1　基础配置与工具文件　　114 6.5.2　通用辅助工具和底层GPU原语　　116 6.5.3　API接口与启动文件　　119 6.5.4　设备和计算内核　　120 6.5.5　跨节点通信　　120 6.5.6　GPU调度布局计算　　122 6.5.7　运行时管理　　126 6.6　测试模块　　129 6.6.1　低延迟模式通信测试　　129 6.6.2　单节点多GPU环境测试　　137 6.6.3　跨节点专家并行内核测试　　146 第7章 FlashMLA注意力计算内核库　　147 7.1　背景　　148 7.2　功能模块　　148 7.3　Python接口层　　150 7.4　核心CUDA实现　　151 7.4.1　公共参数与基础结构　　151 7.4.2　C++接口封装层　　152 7.4.3　Kernel工具层　　153 7.4.4　GPU解码与调度工具层　　163 7.5　测试验证模块　　167 7.5.1　性能测试　　167 7.5.2　正确性验证　　172 第8章 DualPipe双向流水线并行算法　　183 8.1　背景　　184 8.2　DualPipe原理介绍　　184 8.2.1　细粒度执行单元拆分　　184 8.2.2　Forward-Backward成对重排机制　　186 8.2.3　双向流水线调度策略　　187 8.2.4　内存与资源代价分析　　188 8.2.5　规模扩展特性　　190 8.3　源码分析　　191 8.3.1　辅助工具函数　　191 8.3.2　通信基础工具　　194 8.3.3　DualPipe基础版双管道流水线并行　　196 8.3.4　DualPipe改进版流水线并行　　197 8.3.5　DualPipe版测试　　212 8.3.6　DualPipeV版测试　　217 第9章 DeepSeek-V4模型架构　　222 9.1　DeepSeek-V4基础　　223 9.1.1　DeepSeek-V4设计背景与目标　　223 9.1.2　系统级优化与研究动机　　223 9.1.3　与V3架构的继承关系　　224 9.2　模型架构　　225 9.2.1　整体架构　　225 9.2.2　继承自DeepSeek-V3的设计基础　　226 9.2.3　流形约束超连接结构（mHC）　　227 9.2.4　Hybrid Attention机制（CSA与HCA）　　229 9.2.5　Muon优化器机制　　234 9.3　通用基础设施　　235 9.3.1　专家并行中的计算-通信重叠优化　　235 9.3.2　TileLang高效内核开发机制　　237 9.3.3　高性能确定性Kernel库设计　　238 9.3.4　FP4量化感知训练机制　　240 9.3.5　训练框架设计　　241 9.3.6　推理框架设计　　243 9.4　预训练　　245 9.4.1　数据构建方法　　245 9.4.2　预训练配置　　246 9.4.3　评估体系　　248 9.5　后训练　　251 9.5.1　专家模型训练（Specialist Training）　　251 9.5.2　On-Policy蒸馏机制　　253 9.5.3　RL与OPD基础设施　　254 9.5.4　标准基准测试　　256 9.5.5　真实任务表现　　257 第10章 DeepSeek模型部署　　259 10.1　Ollama本地部署　　260 10.1.1　安装Ollama　　260 10.1.2　DeepSeek模型的安装与配置　　262 10.2　LM Studio本地可视化部署　　264 10.2.1　LM Studio的特点与安装　　264 10.2.2　安装并配置DeepSeek模型　　267 10.2.3　LM Studio API　　270 10.3　Chatbox本地部署　　272 10.3.1　Chatbox简介　　272 10.3.2　Chatbox+ Ollama的本地部署　　272 10.4　使用腾讯云部署DeepSeek　　276 10.4.1　创建DeepSeek应用　　276 10.4.2　通过TokenHub体验DeepSeek-V4模型　　278 10.5　华为昇腾部署和训练DeepSeek-V4　　280 10.5.1　华为昇腾一键部署DeepSeek-V4　　280 10.5.2　华为昇腾训练DeepSeek-V4　　281 第11章 DeepSeek接入实战　　284 11.1　DeepSeek API基础知识　　285 11.1.1　DeepSeek API简介　　285 11.1.2　DeepSeek API基本教程　　285 11.1.3　基于DeepSeek API的对话程序　　288 11.2　DeepSeek的基本接入实战　　290 11.2.1　接入Chatbox　　290 11.2.2　NextChat接入实战　　293 11.3　将DeepSeek接入到Office　　295 11.3.1　OfficeAI简介　　295 11.3.2　将DeepSeek接入Word　　297 11.3.3　将DeepSeek接入Excel　　301 11.4　将DeepSeek接入VS Code　　306 11.4.1　Continue基础　　306 11.4.2　接入DeepSeek　　307 11.4.3　调用DeepSeek生成代码　　308 11.4.4　DeepSeek代码智能生成和补全　　310 第12章 基于DeepSeek的　　　　 Web聊天交互系统　　311 12.1　项目背景　　312 12.2　项目概况　　312 12.3　配置文件和基础工具函数　　312 12.4　组件　　312 12.5　调试运行　　312