|
关于我们
新书资讯 新书推荐 |
vLLM与SGLang:大模型高效推理双引擎实战 读者对象:无论是希望系统入门推理优化的工程师,还是寻求在生产实践中进一步提升系统性能的资深从业者,均可从本书中获得切实的启发。
全书共14章,分为3部分。第1部分(第1-4章)夯实理论基础,涵盖Transformer推理机制、KV缓存原理、连续批处理、FlashAttention、投机解码等核心算法,帮助读者建立扎实的推理优化认知体系。第2部分(第5-12章)以项目驱动的方式深入实践,内容涵盖长文档处理、结构化输出、多模态实时视频理解、多智能体协作、生产级服务部署与监控,以及基于vLLM的DeepSeekV4长上下文推理服务等典型工程场景,每章均提供可直接复用的完整工程代码。第3部分(第13-14章)聚焦进阶优化与技术前沿,系统梳理模型量化、分布式推理、软硬件协同等高阶技术路径,并对以DeepSeekV4为代表的新一代模型架构发展趋势与推理框架演进方向作出研判与展望。
你还可能感兴趣
我要评论
|