内容简介这是一本从实践角度深入探讨如何利用大语言模型提升软件交付全生命周期效率与效能的实战性著作。全面细致地讲解了研发和运维人员需要掌握的大语言模型及其相关技术的原理，重点讲解了如何借助大模型实现DevOps、SRE、平台工程三大领域的智能化实践，覆盖开发、测试、运维、监控、安全、项目管理等软件开发全流程和全场景，通过丰富的实例展示了其在实际工作场景中的具体应用。本书的独特之处在于它不仅涵盖了基础理论知识，如Transformer模型的基本原理及GPT系列模型的发展历程，更注重于实践应用，提供了从预训练到微调的完整方法论。书中特别强调了大语言模型在降低IT人员认知负荷方面的作用，通过集成多种工具和技术，帮助企业构建更加高效、智能的软件交付体系。此外，本书得到了来自企业级、学术界和研究机构近20位专家的一致好评。通过阅读本书，你将：?了解大语言模型的发展和起源?了解ChatGPT的相关内容，包括GPT模型的结构和完整实现?了解Transformer模型的基本原理?深入了解大语言模型的微调技术，软件交付的三大底座以及RAG的基本原理?探索大语言模型在运维场景中的实践?探索大语言模型在编程场景中的实践?探索大语言模型在测试场景中的实践?探索大语言模型在安全场景中的实践?接触前沿的技术趋势，了解实践中的具体方法，清晰看懂实践后的数据和数据

（1）作者背景资深：作者是某持牌金融机构的资深研发效能专家，中国商联专家智库入库专家，通信部和信通院特聘专家。（2）近20位专家力荐：长江学者、国家智库成员、信通院云大所所长、清北教授、知名企业家和行业专家联合推荐。（3）集大成之作：全面讲解研发工程师和运维工程师所需掌握的大模型知识，从实践角度详解大模型如何赋能DevOps、SRE、平台工程，全面提升软件交付全生命周期的效率与效能。

Preface　前　言
为什么要写这本书
大语言模型在完成各类NLP（自然语言处理）下游任务方面有了显著进步，各种垂直领域的大模型如雨后春笋般不断涌现。然而，在软件交付领域，各企业的实践较为滞后，缺乏有说服力的相关案例。在软件交付领域，DevOps的热度最高且实践较为成熟，围绕DevOps能力衍生出了DevSecOps、DataOps、NoOps、MLOps等一系列细分领域。在后DevOps时代，传统能力的右移激活了SRE（网站可靠性工程），进一步凸显了可靠性与稳定性保障，尤其在技术层面与业务连续性紧密关联。同时，平台工程提供了更全面的全局性思路，在SRE和DevOps体系的基础上进行了扩展，提供了支撑全面且具备业务视角的产品开发交付平台。
未来，随着企业规模的不断扩大和商业模式的持续转变，软件交付能力需要实现质的提升。DevOps体系提供了流水线交付构件的能力，SRE提供了高可靠的应用程序交付基础架构，平台工程致力于解决组织架构内不同部门的工具协同问题。相关研究数据显示，大多数企业在软件交付过程中，尽管进行了多种尝试和实践，但仍然遇到了一个共同的问题—认知负荷。复杂的工具和细化的流程显著增加了IT人员的认知负荷，众多工具和框架需要IT人员学习和应用，而这些繁杂且不断涌现的技术反而阻碍了IT人员最为关键的本职工作—软件交付。
与此同时，随着越来越多的大语言模型的涌现，也需要一个具备集成能力的平台，推动人工智能的真正落地，帮助IT人员构建更强大、更丰富的软件交付数据集，扩展软件交付领域专有语料库的词表，最终通过模型能力助力DevOps、SRE和平台工程的落地及智能化实践，以提升软件交付领域的开发、测试、运维、监控、安全等场景的效率并节约成本。
基于以上背景，我们编写了这本关于大模型在软件交付过程中的实践的参考书，旨在帮助读者全面理解大模型的基础理论，深入掌握大语言模型的知识框架，了解大模型在软件交付过程中的应用价值。
读者对象
对DevOps体系、SRE和平台工程感兴趣的人员。
软件交付链路上的节点人员，如项目经理、需求分析师、研发工程师、测试工程师、运维工程师、安全管理人员。
对大语言模型感兴趣的人员。
本书内容
本书共11章，从逻辑上分为三篇。
基础篇（第1～3章）简要介绍大语言模型的发展与起源、Transformer模型及ChatGPT相关内容，涵盖GPT模型的结构与完整实现，以及Transformer模型的基本原理。
进阶篇（第4～6章）重点讲解大语言模型的微调技术、RAG的基本原理，以及软件交付的三大底座——DevOps、平台工程和SRE。
实践篇（第7～11章）重点讲解大语言模型在运维、测试、编程、项目管理、安全中的应用。
勘误和支持
由于我们的水平有限，书中难免存在不足或错误，敬请读者批评指正。如有宝贵意见，欢迎发送至邮箱363328714@qq.com，期待读者的真挚反馈。
致谢
本书的编写得到中国信息通信研究院的大力支持。
感谢云智慧的张博、北京大学的李戈教授和李力行博士、清华大学的裴丹教授、南京大学的裴雷教授、复旦大学的彭鑫教授、上海交通大学的束骏亮博士、蜚语科技的陈悦、LigaAI的周然及南京邮电大学的季一木教授，他们提供了大量素材和建议。
感谢阿里巴巴的刘凯宁、B站的刘昊、腾讯的杨军和陈自欣、美图的石鹏、趣丸的刘亚丹、DevOps联盟的刘征、快猫星云的来炜、广发证券的彭华盛、联通软研院的李明亮、浙江移动的叶晓龙在本书写作过程中给予的支持和帮助。
此外，感谢SRE精英联盟，尤其是赵成和党受辉，给予了我们很多思路和启发。
最后，感谢我的家人给予的鼓励，他们永远是我最坚强的后盾。

顾黄亮，资深DevOps/研发效能专家，有多年的运维研发经验，专注企业IT数字化转型和落地，致力于企业智慧运维体系的打造。现在就职于某持牌金融机构。中国商联专家智库入库专家、国家互联网数据中心产业技术创新战略联盟智库专家委员会副主任委员、江苏银行业和保险业金融科技专家委员会候选专家、工信部企业数字化转型IOMM委员会特聘专家、中国信通院可信云标准特聘专家、中国信通院低代码/无代码推进中心特聘专家，腾讯云最具价值专家TVP，阿里云最有价值专家MVP。著有畅销书《DevOps权威指南》《企业级DevOps实战案例：持续交付篇》《研发运营一体化（DevOps）能力成熟度模型》和《企业IT运维发展白皮书》核心作者，多个技术峰会演讲嘉宾。
郑清正，金融科技研究中心高级研究员，英国杜伦大学计算机系博士，英国斯旺西大学计算机软件工程硕士，曾任华为技术规划工程师、图像研究工程师。专注研究金融大数据风控、机器视觉等领域。 参与人脸识别、电信CRM、内存数据库等系统开发；发表论文3篇，授权专利3篇。
牛晓玲，DevOps标准工作组组长，DevOps 国际标准编辑人。长期从事开发运维方面的相关研究工作，包括云服务的运维管理系统审查等相关工作。参与编写《云计算服务协议参考框架》《对象存储》《云数据库》《研发运营一体化（DevOps）能力成熟度模型》《Y.3525　Cloud computing-Requirement for cloud service development and operation management 》《云计算运维智能化通用评估方法》等20余项国内标准和国际标准。参与评估DevOps能力成熟度评估超过50个项目，具有丰富的标准编制及评估测试经验。
车昕，中国信通院云计算与大数据研究所政企数字化转型部副主任，主要从事企业数字化转型成熟度模型IOMM、可信数字化服务、数字基础设施一体化云平台、中台系列、低/无代码、组装式、安全生产、智慧运营等领域技术研究和转型咨询规划，制定相关标准、开展评估测试、组织技术实践交流等工作。

目　录　Contents
前言
本书赞誉
第1章　初识大语言模型1
1.1　大语言模型的发展1
1.2　常见的大语言模型3
1.2.1　统计学模型N-gram3
1.2.2　统计学模型HMM4
1.2.3　神经网络模型RNN6
1.2.4　自然语言处理中的传统模型
　　　LSTM7
第2章　大语言模型的基石—
　　Transformer10
2.1　Transformer模型的由来10
2.2　Transformer模型的基本原理11
2.2.1　词嵌入13
2.2.2　位置编码17
2.2.3　注意力机制20
2.3　Transformer注意力机制的技术
　　 实现24
2.3.1　自注意力机制的设计细节26
2.3.2　多头注意力机制的设计细节30
2.4　Transformer模型总结31
第3章　从Transformer到
　　　　ChatGPT33
3.1　ChatGPT的由来33
3.2　二元语法模型34
3.2.1　文本如何转换为数字35
3.2.2　如何设计模型35
3.2.3　如何训练模型38
3.3　GPT模型40
3.3.1　GPT模型的结构40
3.3.2　GPT模型的设计实践42
3.4　简单GPT模型的完整实现46
3.5　GPT模型的优化53
3.5.1　样本数据的精细化处理53
3.5.2　特殊符号的引入54
3.5.3　早停策略的应用56
3.5.4　模型训练中的强化学习57
3.6　GPT模型总结59
第4章　大语言模型的微调技术61
4.1　微调的基本概念61
4.1.1　适配器微调63
4.1.2　前缀微调64
4.1.3　LoRA65
4.1.4　QLoRA65
4.2　微调中的关键技术66
4.2.1　PEFT工具包66
4.2.2　LoRA67
4.3　微调技术的应用案例69
4.3.1　BERT分类模型69
4.3.2　基于BERT分类模型的微调78
4.3.3　QLoRA中使用的量化技术82
第5章　企业AI应用技术—
　　　　RAG85
5.1　RAG技术的基本原理85
5.2　RAG技术的应用案例87
5.2.1　客服问答系统87
5.2.2　财富管理系统88
5.2.3　RAG2SQL90
5.2.4　多智能体系统93
第6章　软件交付的三大底座100
6.1　DevOps100
6.1.1　DevOps的概念100
6.1.2　DevOps与企业和IT组织
　　　的关系101
6.1.3　DevOps究竟是什么103
6.1.4　DevOps的数字可视能力103
6.1.5　DevOps的科技左移能力104
6.1.6　DevOps的数字运营能力105
6.1.7　DevOps的弹性合作能力107
6.1.8　DevOps的数字风险能力107
6.1.9　大语言模型下的DevOps108
6.2　平台工程110
6.2.1　平台工程的概念110
6.2.2　平台工程的关键属性111
6.2.3　平台工程的核心模块115
6.2.4　平台工程的能力要求115
6.2.5　平台工程的最佳实践118
6.2.6　平台工程与DevOps、SRE
　　　的区别119
6.2.7　大语言模型下的平台工程120
6.3　SRE122
6.3.1　SRE的由来122
6.3.2　SRE的目标122
6.3.3　SRE团队的使命122
6.3.4　SRE团队的存在形式123
6.3.5　应用韧性架构设计124
6.3.6　构建可靠性设计126
6.3.7　变更评审设计128
第7章　大语言模型在运维场景中
　　　　　　　 的实践133
7.1　日志运维智能化133
7.1.1　日志的概念134
7.1.2　日志运维的基本流程134
7.1.3　日志运维的痛点136
7.1.4　如何解决日志运维的痛点137
7.2　智能运维知识库的构建146
7.2.1　构建运维知识库的难点和
　　　优势146
7.2.2　构建运维知识库的技术路径147
7.2.3　运维知识库的应用案例149
7.3　智能运维工单150
7.3.1　智能运维工单的作用151
7.3.2　构建智能运维工单的技术
　　　路径152
7.3.3　智能运维工单的应用案例154
7.4　大模型运维能力评测155
7.4.1　构建评测数据集155
7.4.2　评测工具和方法156
7.4.3　评测结果156
7.5　基于多智能体的微服务根因分析157
7.5.1　微服务架构的挑战157
7.5.2　多智能体系统158
7.5.3　多智能体系统的应用案例158
第8章　大语言模型在测试场景
　　　　　　 中的实践162
8.1　测试的痛点162
8.2　动态测试技术的智能化演进163
8.2.1　动态测试技术的基本概念163
8.2.2　常见的动态测试技术164
8.2.3　动态测试技术的痛点166
8.2.4　大模型在动态测试领域的
　　　应用尝试167
8.3　静态测试技术的智能化演进171
8.3.1　静态测试技术的基本概念171
8.3.2　常见的静态测试技术172
8.3.3　静态测试技术的痛点173
8.3.4　大模型在静态测试领域的
　　　应用尝试175
8.4　大语言模型在测试场景下的
　　落地难点178
8.4.1　大语言模型的处理窗口
　　　瓶颈179
8.4.2　模型的幻觉问题179
8.4.3　RAG与Agent的取舍179
8.4.4　基座模型的选择180
8.4.5　大语言模型微调的必要性180
8.4.6　模型的可解释性与透明性180
8.4.7　大语言模型在测试场景中的
　　　性能评估180
8.4.8　大语言模型的维护与更新181
8.5　基于静态分析和RAG的漏洞
　　自动化修复方案181
第9章　大语言模型在编程场景
　　　　　中的实践184
9.1　代码大模型184
9.1.1　代码大模型的定义和特点184
9.1.2　常见的代码大模型186
9.2　代码的下游任务188
9.2.1　文本到代码任务188
9.2.2　代码到代码任务189
9.2.3　代码到文本任务191
9.2.4　代码到模式任务191
9.2.5　文本到文本任务192
9.3　代码生成和补全192
9.3.1　代码生成和补全技术的
　　　发展历史192
9.3.2　常见的代码生成和补全技术193
9.3.3　基于可视化编排进行代码生
　　　成和补全194
9.3.4　基于输入输出样例进行代码
　　　生成和补全195
9.3.5　基于代码语料进行代码生成
　　　和补全196
9.3.6　基于功能描述进行代码生成
　　　和补全199
9.3.7　基于语言模型进行代码生成
　　　和补全200
9.3.8　代码生成与补全的痛点202
9.4　基于Agent的项目级代码生成
　　方法203
9.4.1　项目级代码生成在企业中
　　　的痛点203
9.4.2　Agent的技术实现204
9.4.3　事务自动处理在开发场景中
　　　的运用207
9.4.4　项目研发问答场景208
9.4.5　从需求到完整的项目级代码
　　　生成场景208
第10章　大语言模型在项目管理
　　　 　场景中的实践210
10.1　项目需求分析与任务规划210
10.1.1　需求分析211
10.1.2　任务规划213
10.2　沟通与协作214
10.2.1　沟通与协作的重要性215
10.2.2　大语言模型在沟通与协
　　　　作场景中的作用216
10.2.3　大语言模型提升沟通效率
　　　　和整合资源的能力218
10.3　项目风险管理与决策支持220
10.3.1　风险管理221
10.3.2　决策支持222
10.4　项目执行阶段的智能优化225
10.4.1　工作流程及资源管理的
　　　　挑战225
10.4.2　大语言模型如何赋能工作
　　　　流程及资源管理225
10.5　大语言模型在项目管理中的
　　 　实践案例227
10.5.1　辅助理解客户需求227
10.5.2　提升内部信息流转效率229
10.5.3　实现项目风险和进度的
　　　　自动分析功能231
10.5.4　助力任务分配的高效合理232
第11章　大语言模型在安全场景
　　　　中的实践235
11.1　大语言模型催生安全新范式235
11.1.1　大语言模型在安全领域中
　　　　的优势235
11.1.2　大语言模型在安全领域中
　　　　的挑战236
11.2　大语言模型在安全领域中的
　　　应用场景236
11.2.1　异常检测236
11.2.2　威胁识别与分类237
11.2.3　自动化威胁狩猎237
11.2.4　钓鱼攻击识别238
11.2.5　恶意软件检测238
11.2.6　入侵检测系统239
11.2.7　安全策略建议239
11.2.8　预测性威胁建模240
11.2.9　数据泄露预防240
11.2.10　安全教育与训练240
11.2.11　情报共享与协作241
11.2.12　合规性监控241
11.3　大语言模型在安全领域中的
　　　　　风险241
11.3.1　原生风险241
11.3.2　应用安全风险242
11.3.3　对抗风险243
11.4　大语言模型的零样本漏洞修复
　　　研究243
11.4.1　研究背景243
11.4.2　研究思路244
11.4.3　实验过程244