本书着眼推动无人机智能化作战发展，以深度强化学习为理论方法，采用"理论方法+技术实现+实例教程"递进式思路，对无人机智能决策技术进行了研究，重点包括深度强化学习基础理论与算法、深度强化学习技术框架、基于深度强化学习的无人机路径规划、基于强化学习的无人机空战智能决策等问题。 本书可作为无人机作战技术与指挥及相关专业的本科生和研究生学习参考用书，同时也适合从事无人机设计与技术、战术战法等方面研究的人员使用。

前 言

恩格斯指出：一旦技术上的进步可以用于军事目的并且已经用于军事目的，它们便立刻几乎强制地，而且往往是违反指挥官的意志而引起作战方式上的改变甚至变革。 在技术强力推进军事变革过程中，谁主动适应了技术进步，谁就能够在未来战争中获得更大的优势。随着无人机技术的发展，无人机在现代战争中得到越来越广泛的应用，各国争相发展无人机等高新技术装备，加大对无人机装备以及智能化技术的研发投入，全面推动航空装备与人工智能技术的融合发展。可以预见，随着智能化无人机的迅速发展，未来战争将转向一种全新的模式。本书以提高无人机智能化决策能力为目标，以深度强化学习为理论方法，对无人机智能决策技术进行深入研究。

本书共分 5 章。第 1 章绪论，详细阐述了无人机基础知识，介绍了无人机发展历程、无人机智能空战模式，以及无人机在军事冲突中典型作战运用，分析了无人机发展趋势和关键技术，奠定了无人机智能决策研究的装备基础。第 2 章深度强化学习基础理论与算法，详细阐述了深度强化学习的理论基础，分别对基于价值学习和策略学习的典型深度强化学习模型进行了介绍，奠定了深度强化学习的理论基础。第 3 章深度强化学习技术框架，对用于构建、训练和部署深度神经网络模型的工具集合进行了介绍，重点对 TensorFlow 和 PyTorch 开发环境搭建及应用进行了分析，奠定了深度强化学习的实践基础。第 4 章基于深度强化学习的无人机路径规划，概述了无人机路径规划问题，介绍了无人机传统规划算法，分别研究了基于 DDPG 算法和基于 RRT-SAC 算法的无人机路径规划方法，为开展无人机智能路径规划研究提供了实例参考；第 5 章基于深度强化学习的无人机空战决策，详细阐述了无人机智能空战基础，介绍了深度强化学习空战决策平台 Harfand3D Dog - Fight Sandbox，重点研究了基于 SAC 算法和基于 E-SAC 算法的无人机空战智能决策方法，为开展无人机智能空战决策研究提供了实例参考。

基于深度强化学习的无人机智能决策理论与实践

本书内容涉及面广，时间跨度大，编者参阅了诸多相关书籍、论文、网站评述等，多数已在参考文献中列出。少量来自编者读书笔记资料，不便于列出，敬请谅解，在此对相关作者表示衷心感谢。

作者2025 年 6 月

目录

第 1 章 绪论

1.1 无人机基础知识

1.1.1 无人机基本概念

1.1.2 无人机分类及组成

1.1.3 无人机任务规划

1.2 无人机发展历程

1.2.1 世界无人机的发展历程

1.2.2 我国无人机的发展历程

1.2.3 无人机智能空战的发展历程

1.3 无人机智能作战模式与发展情况

1.3.1 有人 / 无人机协同作战模式

1.3.2 分布式无人机智能蜂群作战模式

1.3.3 无人机蜂群消耗作战模式

1.4 无人机在军事冲突中的典型作战运用

1.4.1 俄驻叙基地遭无人机集群袭击

1.4.2 沙特油田遭无人机集群重创

1.4.3 纳卡冲突中攻击型无人机运用

1.4.4 伊朗高级指挥官遭美军无人机斩首

1.4.5 俄乌冲突中无人机广泛应用

1.5 无人机发展趋势和关键技术

1.5.1 未来无人机的发展趋势

1.5.2 无人机发展的关键技术

1.6 本章小结

第 2 章 深度强化学习基础理论与算法

2.1 理论基础

2.1.1 模型基础

2.1.2 马尔科夫决策过程

2.1.3 动态规划

2.2 价值学习

2.2.1 蒙特卡罗（MC）法

2.2.2 时序差分（TD）法

2.2.3 SARSA 算法

2.2.4 Q-Learning 算法

2.2.5 Deep Q-Learning 算法

2.2.6 Nature DQN 算法

2.2.7 Double DQN 算法

2.2.8 Prioritized Replay DQN 算法

2.2.9 Dueing DQN 算法

2.2.10 DQN 算法总结

2.3 策略学习

2.3.1 策略学习基础

2.3.2 Actor-Critic 算法

2.3.3 A3C 算法

2.3.4 DDPG 算法

2.3.5 SAC 算法

2.4 本章小结

第 3 章 深度强化学习技术框架

3.1 深度强化学习技术框架基础

3.1.1 深度强化学习技术框架概述

3.1.2 主流深度强化学习技术框架介绍

3.1.3 深度强化学习 PyCharm 开发平台

3.2 TensorFlow 开发环境搭建及简单应用

3.2.1 TensorFlow 安装

3.2.2 TensorFlow 开发基础

3.2.3 TensorFlow 搭建神经网络

3.3 PyTorch 开发环境搭建及简单应用

3.3.1 PyTorch 安装

3.3.2 PyTorch 开发基础

3.3.3 PyTorch 搭建神经网络

3.4 本章小结

第 4 章 基于深度强化学习的无人机路径规划

4.1 无人机路径规划策略概述

4.1.1 无人机路径规划目标

4.1.2 路径规划环境建模

4.1.3 无人机自身性能约束模型

4.1.4 无人机路径规划成本评估

4.2 无人机路径规划算法

4.2.1 传统路径规划算法

4.2.2 智能仿生学路径规划算法

4.2.3 人工智能路径规划算法

4.3 基于 DDPG 算法的无人机路径规划

4.3.1 DDPG 网络结构

4.3.2 经验回放

4.3.3 算法类与环境

4.3.4 训练与评估

4.3.5 训练曲线可视化

4.4 基于 RRT-SAC 算法的无人机路径规划

4.4.1 基于 RRT-SAC 算法的无人机路径规划框架

4.4.2 基于 RRT-SAC 算法的无人机路径规划设计

4.4.3 基于 RRT-SAC 算法的无人机路径规划仿真

4.4.4 结论

4.5 本章小结

第 5 章 基于深度强化学习的无人机智能空战决策

5.1 空战决策基础

5.1.1 空战模式与过程

5.1.2 空战运动模型

5.1.3 空战决策方法

5.2 Harfang3D Dog-Fight Sandbox 空战决策开发平台

5.2.1 平台介绍

5.2.2 项目架构

5.2.3 快速应用

5.3 基于 SAC 算法的无人机空战智能决策

5.3.1 空战决策想定

5.3.2 训练框架 main

5.3.3 训练环境 HarfangEnv

5.3.4 SAC 算法

5.3.5 仿真结果分析

5.4 基于 E-SAC 算法的无人机空战智能决策

5.4.1 E-SAC 强化学习

5.4.2 训练框架 main

5.4.3 E-SAC 算法

5.4.4 仿真结果分析

5.5 本章小结

参考文献