本书是一本系统介绍三维感知算法及其在自动驾驶中应用的实用指南。全书从基础理论出发，结合前沿算法与实战案例，深入讲解了三维感知的核心技术，涵盖传感器原理、数学基础、深度学习模型、多模态融合以及端到端算法等，旨在帮助读者全面掌握三维环境感知的关键技术，并具备实际工程落地的能力。
本书内容循序渐进，从基础的立体几何、深度学习知识，到复杂的三维场景理解，构建系统化的知识体系，呈现清晰学习路径；兼具前沿性，详细解读基于图像、LiDAR 和多传感器融合的最新算法；同时，书中提供了大量代码示例和项目案例，帮助读者在实践中应用所学知识，解决实际问题。
本书适合自动驾驶领域的研究人员、工程师以及对三维感知算法感兴趣的学生和爱好者阅读学习。

第1章 概述 001
1.1 三维感知简介 002
1.2 本书主要内容概览 002

第2章 传感器 005
2.1 相机 006
2.1.1 相机的成像原理 006
2.1.2 相机的内参和外参 007
2.1.3 图像 008
2.2 激光雷达 010
2.2.1 激光雷达的测距原理 010
2.2.2 激光雷达的硬件参数 011
2.2.3 激光雷达点云 014
2.3 毫米波雷达 016
2.3.1 毫米波雷达的测距原理 016
2.3.2 毫米波雷达的硬件参数 017
2.3.3 毫米波雷达点云 018
2.4 不同传感器的互补作用 020

第3章 三维感知任务 022
3.1 静态感知 023
3.1.1 语义分割 023
3.1.2 实例分割 027
3.1.3 全景分割 030
3.2 动态感知 032
3.2.1 物体检测 032
3.2.2 物体跟踪 035
3.2.3 轨迹预测 038
3.3 通用障碍物感知 040
3.3.1 占用网格语义分割 041
3.3.2 占用网格场景流 042

第4章 感知算法基础 045
4.1 立体几何 046
4.2 深度学习 059
4.2.1 卷积神经网络 060
4.2.2 Transformer 079

第5章 单传感器感知 090
5.1 纯视觉感知算法 091
5.1.1 前视图感知 091
5.1.2 鸟瞰图感知 106
5.2 激光雷达感知算法 128
5.2.1 基于点的方法 129
5.2.2 基于体素的方法 151
5.2.3 基于二维投影的方法 162
5.2.4 基于多视图融合的方法 170

第6章 多传感器融合感知 194
6.1 激光雷达和相机融合 195
6.1.1 BEVFusion 196
6.1.2 DeepInteraction 201
6.2 毫米波雷达和相机融合 212
6.2.1 CenterFusion 213
6.2.2 Simple-BEV 217

第7章 端到端自动驾驶算法 226
7.1 端到端自动驾驶算法的发展历程 228
7.1.1 NVIDIA PilotNet 的里程碑 228
7.1.2 强化学习的应用 230
7.1.3 端到端方法的多样化 230
7.2 端到端自动驾驶算法研究进展 232
7.2.1 UniAD 232
7.2.2 FusionAD 244
7.3 端到端自动驾驶算法的挑战与应对 250

参考文献 251