本书系统论述了增强现实理论、技术及应用的方方面面。全书分成理论篇、技术篇和应用篇，共11 章。其中理论篇侧重讨论增强现实概念和发展历史、人类视觉成像基本原理、视觉三维感知基础理论，光场概念及其研究进展；技术篇讲解了增强现实涉及的各方面技术，包括三维图形绘制技术、位姿跟踪注册技术、虚实融合呈现技术和自然人机交互技术；应用篇讨论了增强现实系统基本组成、典型领域应用前景分析，并给出了军事领域应用前景分析。全书架构清晰，内容完整，层次递进，可以为增强现实相关行业提供技术参考和方向指引。

邓宝松，军事科学院国防科技创新研究院研究员，博士生导师，主持或参与科研课题30余项，部分成果规模化推广应用并取得良好效益，发表学术论文60多篇，授权专利30余项，软著9项，出版译著1部、教材1部，获国家科技进步一等奖1项，省部级奖5项。

理 论 篇
第1章 增强现实概念和发展历史 2
1.1 相关概念介绍 2
1.1.1 虚拟现实 3
1.1.2 增强现实 4
1.1.3 混合现实 6
1.1.4 虚实统一体 7
1.1.5 增强现实与虚拟现实的区别 7
1.1.6 “人-机-环境”关系 9
1.1.7 元宇宙 10
1.2 增强现实呈现手段 11
1.2.1 视觉呈现 12
1.2.2 听觉呈现 12
1.2.3 触觉呈现 13
1.2.4 嗅觉和味觉呈现 14
1.3 增强现实应用的发展 14
1.3.1 增强现实用于电视转播 15
1.3.2 首款增强现实游戏原型 16
1.3.3 谷歌眼镜和微软HoloLens 17
1.4 增强现实关键技术 17
1.4.1 位姿跟踪注册技术 17
1.4.2 虚实融合呈现技术 18
1.4.3 自然人机交互技术 19
1.5 增强现实应用领域 20
第2章 人类视觉成像基本原理 21
2.1 人眼基本生理结构 21
2.1.1 眼球组织的分层构造解析 21
2.1.2 视觉感知流程 23
2.1.3 视觉感知类型 24
2.1.4 视觉基本概念 26
2.2 人眼立体视觉感知 30
2.2.1 心理立体感知 30
2.2.2 生理立体感知 31
2.3 视觉感知的四个层级 33
2.3.1 传统平面显示屏 34
2.3.2 影院式立体眼镜 34
2.3.3 沉浸式立体显示 35
2.3.4 光场式立体呈现 37
第3章 视觉三维感知基础理论 38
3.1 分层射影几何 38
3.1.1 分层射影几何基本概念 38
3.1.2 二维射影空间 40
3.1.3 三维射影空间 42
3.2 相机成像模型 43
3.2.1 小孔相机模型 44
3.2.2 图像的像素化 44
3.2.3 坐标系的变换 45
3.2.4 完整变换过程 45
3.2.5 成像矩阵表示 46
3.3 多视图几何理论 47
3.3.1 两幅图像的对极几何关系 47
3.3.2 基本矩阵的估计方法 48
3.3.3 三幅图像的多焦距张量 49
3.3.4 三焦距张量的估计方法 52
3.4 三维重建与增强现实的关系 53
第4章 光场概念及其研究进展 54
4.1 光场基本概念 54
4.1.1 光场的参数表示 54
4.1.2 光场的四维表示 55
4.1.3 光场的几何解释 59
4.1.4 光场的魔盒解释 60
4.2 光场数据采集 61
4.2.1 基于相机阵列的光场数据采集 61
4.2.2 基于微透镜阵列的光场数据采集 66
4.2.3 基于编码掩膜的光场数据采集 73
4.2.4 光场数据采集方案的对比分析 75
4.3 光场数据处理 75
4.3.1 光场数据的可视化处理 75
4.3.2 基于光场数据的重聚焦 77
4.3.3 基于光场数据的深度估计 79
4.4 光场数据显示 84
4.4.1 体三维显示 84
4.4.2 多视投影阵列显示 86
4.4.3 集成成像显示 88
4.4.4 多层液晶张量光场显示 89
4.5 光场研究意义 93
4.5.1 理论研究价值 93
4.5.2 潜在的应用领域 94
4.5.3 与增强现实的关系 95
技 术 篇
第5章 增强现实中的三维图形绘制技术 98
5.1 计算机图形学基础 98
5.1.1 基本图形元素 99
5.1.2 矢量几何含义 100
5.1.3 几何拓扑关系 105
5.1.4 几何实体定义 106
5.2 三维实体模型绘制 107
5.2.1 图形系统基本组成 107
5.2.2 图形绘制基本流程 108
5.3 视图模型变换过程 108
5.3.1 成像过程 108
5.3.2 模型变换 110
5.3.3 投影变换 111
5.3.4 裁剪变换 112
5.3.5 视口变换 112
5.3.6 矩阵堆栈 113
5.4 图形绘制相关技术 113
5.4.1 纹理映射 113
5.4.2 光照模型 114
5.4.3 视点漫游 116
5.4.4 GPU加速绘制 117
5.4.5 云绘制技术 120
5.5 常用图形开发接口 124
5.5.1 OpenGL 125
5.5.2 Direct3D 125
第6章 增强现实中的位姿跟踪注册技术 126
6.1 位姿跟踪注册框架 126
6.1.1 对位姿跟踪的基本要求 126
6.1.2 位姿跟踪注册方法 127
6.2 基于视觉的位姿跟踪技术 128
6.2.1 跟踪基本流程 128
6.2.2 图像特征匹配 129
6.2.3 空间位姿解算 130
6.2.4 相关数学算法 131
6.3 基于惯导的位姿跟踪技术 132
6.3.1 IMU运动模型 133
6.3.2 IMU预积分 133
6.4 其他位姿跟踪技术 134
6.4.1 基于卫星的位置跟踪 134
6.4.2 基于实时动态定位技术的位置跟踪 135
6.4.3 基于超宽带技术的位置跟踪 136
6.5 多传感器融合跟踪技术 139
第7章 增强现实中的虚实融合呈现技术 141
7.1 近眼光学微显示技术 142
7.1.1 液晶显示技术 143
7.1.2 硅基液晶显示技术 144
7.1.3 有机发光二极管显示技术 146
7.1.4 数字光处理技术 147
7.1.5 微型有机电激光显示技术 150
7.1.6 微发光二极管显示技术 151
7.1.7 其他光学显示技术 153
7.2 近眼光路组合技术 154
7.2.1 棱镜光路技术 155
7.2.2 Birdbath光路技术 155
7.2.3 自由曲面反射镜光路技术 157
7.2.4 自由曲面棱镜光路技术 157
7.2.5 光波导技术 159
7.3 环境光自适应控制技术 166
7.3.1 环境光感知技术 166
7.3.2 电致变色技术 168
7.4 近眼显示系统相关问题 170
7.4.1 光学转换效率 170
7.4.2 移动时间延迟 170
7.4.3 杂散光影响 171
7.4.4 视觉舒适性 171
第8章 增强现实中的自然人机交互技术 173
8.1 多模态人机交互框架设计 173
8.2 基于语音识别的人机交互技术 174
8.2.1 研究及应用场景 175
8.2.2 端到端语音识别 176
8.2.3 无声语音识别技术 177
8.2.4 视听语音识别技术 179
8.2.5 小结 180
8.3 基于手势识别的人机交互技术 181
8.3.1 研究及应用场景 181
8.3.2 基于计算机视觉的手势识别技术 181
8.3.3 基于生物电信号的手势识别技术 183
8.3.4 基于传感手套的手势识别技术 184
8.3.5 小结 185
8.4 基于眼动追踪的人机交互技术 185
8.4.1 研究及应用场景 185
8.4.2 眼动追踪处理流程 186
8.4.3 二维注视估计 186
8.4.4 眼动注视追踪 187
8.4.5 三维注视估计 188
8.4.6 典型应用分析 189
8.4.7 小结 191
8.5 基于触觉反馈的人机交互技术 191
8.5.1 研究及应用场景 191
8.5.2 基于引脚阵列的触觉反馈技术 192
8.5.3 基于力向量的触觉反馈技术 192
8.5.4 基于振动的触觉反馈技术 192
8.5.5 其他触觉反馈相关技术 192
8.5.6 基于可穿戴织物的增强现实触觉设备 193
8.5.7 小结 194
8.6 多模态交互融合案例分析 194
8.6.1 研究及应用场景 194
8.6.2 基于视觉和语音的双模态交互 195
8.6.3 基于手势和语音的双模态交互 195
8.6.4 基于语音、触摸、移动的多模态交互技术 201
8.6.5 基于语音与触控的多模态交互技术 201
8.6.6 基于人脸识别与触控的多模态交互技术 202
8.6.7 基于多种感官的多模态交互 203
8.6.8 基于混合脑机接口的交互 203
8.6.9 小结 204
8.7 总结 204
应 用 篇
第9章 增强现实系统基本组成 208
9.1 增强现实系统架构 209
9.2 增强现实主流硬件 210
9.2.1 感知单元 211
9.2.2 计算单元 214
9.2.3 显示单元 214
9.2.4 交互单元 215
9.3 增强现实开发工具包 218
9.3.1 发展过程 219
9.3.2 ARKit工具包 219
9.3.3 ARCore工具包 223
9.3.4 Vuforia工具包 226
9.3.5 Augument工具包 227
9.4 增强现实绘制引擎 228
9.4.1 开发者社区方面 229
9.4.2 程序开发方面 229
第10章 典型领域应用前景分析 231
10.1 工业领域应用 231
10.1.1 建筑设计领域应用 231
10.1.2 工业设计领域应用 232
10.1.3 装配维修领域应用 233
10.1.4 工业数字孪生应用 234
10.2 医疗领域应用 236
10.3 教育领域应用 238
10.4 文娱领域应用 240
第11章 军事领域应用前景分析 242
11.1 典型军事应用需求分析 242
11.1.1 战场态势感知增强 242
11.1.2 新型作战指挥模式 245
11.1.3 模拟仿真训练应用 247
11.1.4 装备辅助维修应用 249
11.2 美军的集成视觉增强系统 250
11.3 电子沙盘指控应用案例 253
11.3.1 电子沙盘应用背景 253
11.3.2 应用案例框架设计 253
11.3.3 主要信息处理流程 254
11.3.4 典型场景应用验证 255
11.3.5 案例实践总结分析 258
11.4 班组战斗协同应用案例 260
11.4.1 战斗协同应用背景 260
11.4.2 应用案例框架设计 260
11.4.3 典型场景应用验证 262
11.4.4 主要技术难点分析 263
11.5 协同标绘应用案例 265
11.5.1 协同标绘应用背景 265
11.5.2 应用案例框架设计 265
11.5.3 主要技术难点分析 267
参考文献 268