|
关于我们
新书资讯 新书推荐 |
大模型边缘推理系统设计
本书共分为10章,系统解析大模型在边缘侧的部署路径,围绕大模型原理、边缘计算特性及两者结合面临的挑战展开。全书首先介绍Transformer架构、大模型裁剪与知识蒸馏方法,覆盖量化策略与推理优化机制,深入剖析了权重剪枝、混合精度计算、推理引擎执行流及算子融合等关键技术。随后聚焦实际部署流程与系统调度策略,从模型格式兼容、工具链集成到流水线构建与资源限制应对,再到KV缓存、模型热加载与调度优化等边缘执行机制均有深入讲解。最后基于平台与场景展开应用实战,包括面向ARM、RISC-V与x86的跨平台部署策略、智
你还可能感兴趣
我要评论
|