本书详细介绍了基于大模型的生成式AI开发技术，涵盖了自然语言处理、语音识别及计算机视觉与图像生成等不同领域。首先在比对生成式AI与判别式AI的基础之上，讲解了大模型的基础知识及相关应用技巧，从文本向量化入手深入剖析了转换器架构的各项核心技术，通过丰富的示例阐述了大模型处理相关任务时的代码实现、模型加载、数据预处理和流水线等机制；随后深入探讨了在大模型部署过程中对算力及存储需求的估算方法，揭示了模型性能与模型规模之间的幂律关系；最后详细介绍了大模型的分布式预训练技术与高效的参数微调方法，还针对大模型对齐人类偏好的一些技术和算法进行了专门讲解。