多无人机突发危险区域路径规划：从强化学习到MAPPO实战

1. “突发”危险区域到底改变了什么：从静态避障到动态博弈

做多无人机路径规划的人，大部分时间都花在跟静态障碍物较劲。一片已知的障碍区，地图离线建好，航迹离线规划好，起飞之后按部就班地飞就行。这类问题用A*、RRT、人工势场这些传统算法处理，效果其实相当不错。

但一旦把场景换成“突发危险区域”，整套逻辑就变了。所谓突发，意味着危险区域的位置、大小甚至出现时机，在起飞前是未知的，或者只能在飞行过程中通过机载传感器实时感知。可能是突发的雷暴云团，可能是临时禁飞空域，也可能是战场环境下新出现的威胁区。这种情况下，传统离线规划算法的假设前提——地图已知、环境静态——直接崩塌。

我最初在模拟环境里测试时，用的是最保守的方案：人工势场加动态避障模块。结果非常难看。在20次随机场景测试中，编队成功穿越率只有55%左右，而且经常出现整支编队绕飞同一个突发区域、互相挤占航线的情况。问题不在于避障逻辑本身，而在于每个无人机只看到了“自己面前的危险”，没有形成对整个空间风险的联合判断。

这也是为什么会转向强化学习。强化学习处理突发危险的核心优势在于，它不是在执行一条预设路径，而是在学习一套“面对未知情况时如何做决策”的策略。就好比人开车走固定路线遇到前方封路，导航规划的是重新找路，而老司机不用导航也知道该怎么绕、该跟谁绕、绕完后回到什么方向。多无人机场景下，这个“经验”就是策略网络，而且必须是多智能体的策略网络——单机经验再丰富，也覆盖不了编队协同的交互问题。

还有一个容易忽略的点：突发危险区域往往伴随动态演化。危险区域可能以某个速度扩张、移动，甚至随机分裂。传统算法在处理“位置固定但时间未知”的威胁时已经捉襟见肘，面对“位置和时间都在变化”的威胁，基本无解。强化学习天然适合这种带有不确定性和对抗性的马尔可夫决策过程，因为它可以在高维状态空间里直接以“最大化长期收益”为目标，把不确定性编码进策略里，而不是试图显式预测每条威胁轨迹。

我在设计这个研究项目时，把问题定义为：N架无人机从起点编队出发，目标是穿越一片含有突发危险区域的空域并到达终点，要求全程避开危险区域、保持编队安全间距、尽量缩短到达时间。难点有三个层次：感知不确定、环境动态变化、多机行为耦合。三者叠加，就是典型的强化学习建模对象。

不需要避讳的一点是，强化学习对这个问题的解决是有前提的。它需要大量仿真训练、精心设计的奖励函数，以及一套稳定且贴近真实物理特性的环境模拟器。训练出来的策略不一定保证100%避开危险区域，但它可以做到在绝大多数情况下给出合理决策，而且决策耗时基本固定，不受危险区域数量增加的影响。这一点对于实时性要求高的场景尤其重要，后面实测部分我会给详细数据。

2. 环境与任务建模：把“突发危险”变成算法能学的东西

决定用强化学习之后，第一步不是调算法，而是把场景建模成算法能理解的数学形式。建模质量直接决定后面所有工作能不能成立，这一点上花的时间永远都值。

2.1 突发危险区域的数学化定义

我把空域设定为一个1000米乘1000米的矩形作业区，无人机在200米高度飞行，这样可以把运动近似为二维平面问题，减少不必要的复杂度。每架无人机用状态向量表示：位置坐标(x,y)、航向角θ、速度v。运动学模型采用简化固定翼约束：转弯需要时间，转弯半径下限为30米，速度范围40到60米每秒。

突发危险区域在仿真开始时随机生成。单个危险区域的半径在80到150米之间，持续时间60到180秒不等。关键点在于“突发”的建模：危险区域不是在仿真开始时就存在的，而是在随机时间点t_appear出现，出现后有一定概率以每秒0.5到2米的速度扩张，也可能沿某个方向漂移。

为了更贴近真实传感器感知，每架无人机装备的探测器不是全知视角，而是以自身为中心、半径250米、视角120度以内的区域探测能力。只有当危险区域进入某架无人机的探测范围并被“识别”后，该无人机才在状态空间里加入这个威胁的信息。这种设置比全网全局信息更接近真实任务，也是后面策略泛化能力的重要来源。

最后，危险区对无人机的影响不是二值的“进入就毁损”，而是基于距离的风险概率。设定无人机中心与危险区域边界的距离为d，威胁概率为P_threat(d)，当d小于安全边界40米时，概率线性上升，进入危险区内部则接近1。这样奖励函数可以在“完全不碰危险区”和“贴边快速通过”之间给出连续反馈，训练更容易收敛。

2.2 多无人机协同层的要素提取

协同是另一个关键建模点。我用的是5架无人机的编队，初始位置在起飞点附近按V形排列。无人机之间需要维持60到120米的间距，间距少于50米判定为碰撞风险，少于30米判定为碰撞。

在状态空间设计上，我提取了三个维度的信息：本机自身状态、编队内邻居状态、环境威胁信息。邻居状态不取所有人的全部信息，而是只取离自己最近的2架无人机的相对位置、相对速度和间距。这个设计的出发点很朴素——无人机数量如果扩展到几十架，全联通信息会带来维度爆炸，而事实上每架无人机真正影响决策的，也就是周围最近的那几架。

这种设计其实也符合“局部感知、全局协调”的控制思想。策略网络不需要知道编队最远端那架无人机的位置，但它通过学习可以隐式地形成一种默契：每个人管好与最近邻居的相对关系，整个编队就能像一个整体一样流动。

环境威胁信息则包括：所有已被当前无人机识别的危险区域的中心坐标、半径、扩张速度向量，以及该区域与当前无人机的相对位置关系。

2.3 仿真器选型与关键参数配置

仿真器我最终选择了与某开源飞行仿真平台配合的方案，没有直接用Gazebo类的重型物理引擎。原因是目标场景在200米高空、二维平面内，飞行物理的精细程度是次要的，重点是环境动态逻辑的快速迭代和算法训练吞吐量。

具体参数配置如下：

仿真平台的环境接口按Gymnasium规范封装，每个step返回全局状态、观测空间、奖励和终止标志。观测空间是上面说的三个信息维度拼接后的向量，动作空间是二维连续动作：目标速度和目标航向角变化率。

训练阶段每回合随机生成一张“场景卡片”：危险区域的数量从2到5个不等，出现时间错开，位置随机。这样做是为了让策略见识足够多的场景组合，避免过拟合到某一种布局上。

关于危险区域的物理意义，我需要多提一句。它的“突发性”和“动态性”是设计的重点，但训练中发现，如果区域扩张速度过快，策略几乎无法学习到任何有效避让模式——因为状态变化太剧烈，奖励信号噪音太大。后来我把扩张速度上限设在每秒2米，收缩了问题难度，指数级地加速了收敛。如果你的场景里危险区域扩张速度远超这个数值，可能需要引入预测机制或者更高层的认知模块，而不能只靠策略网络硬学。

3. 算法选型与奖励工程：MAPPO 基座背后的取舍

环境搭好之后，核心问题就来了：选什么算法，奖励函数怎么设计。

3.1 为什么选 MAPPO 而不是其他多智能体强化学习算法

起步时，我在这上面犹豫了很久，测试过三种路线：独立PPO（IPPO）、值分解类算法QMIX、以及多智能体PPO（MAPPO）。

IPPO的实现最简单，每架无人机当作独立个体训练，共用一套参数但各自维护独立的经验流。实验结果是：训练能稳定进行，但编队协同极差，经常出现两架无人机争抢同一航线空间的情况。原因很好理解，独立训练时每个智能体把其他智能体都视作环境的一部分，看不到彼此的行为意图，协同效果全靠环境隐式反馈，收敛效率太低。

QMIX属于中心化训练、去中心化执行框架下的代表作，好处是可以用全局奖励统一指导所有智能体。但遇到的问题很实际：动作空间是连续量，QMIX对连续控制的支持需要额外的动作采样策略，实现复杂度和训练稳定性都不占优。

MAPPO是我认为在当前框架下的最优解。它属于中心化训练去中心化执行（CTDE）范式的范畴：训练时，critic网络能看到所有无人机的全局状态信息，用来估计价值；执行时，actor网络只看自己的局部观测，完成独立决策。这个框架的好处在于，训练阶段可以充分感知全局协同收益，而执行阶段又不会因为通信带宽限制而拖累实时性。

实测对比，在同样200万步训练预算下，MAPPO的成功穿越率达到IMPO的1.5倍以上，训练曲线也更平滑。下面会展示具体的奖励设计逻辑，但算法框架的先天优势确实是决定性因素之一。

3.2 奖励函数的四层结构

奖励函数是这次研究里最花心思的部分。我前后迭代了五个版本，最终稳定在一个四层结构上。

第一层是任务奖励，也是唯一真正的稀疏奖励：所有无人机全部到达目标点，团队获得一次性奖励+50。这个奖励触发频率很低，但它给了学习过程一个明确的终极方向。前期训练时，目标区域几乎无法触发，但它的存在让策略不会被困在局部最优里出不来。

第二层是安全惩罚，也是权重最大的一项：没有惩罚，无人机就不知道危险区域有多危险。具体设计是，每架无人机每步根据自身与所有已识别危险区域的最近距离计算惩罚值：

• 距离大于安全边界40米：惩罚为0
• 距离在40米以内：惩罚与(d - 40)^2成正比
• 进入危险区域内部：惩罚直接设定为-10，并且立刻终止该回合

第三层是协同引导奖励：当相邻无人机间距过近或过远时，给予惩罚反馈；当间距处于合理范围区间时，给予一个微小的正向激励。间距指标采用编队内最近邻居的距离计算。设计上还加入了“队形保持度”这种变体，但实测表明引导过细的队形保持会让无人机对突发危险区域的应对能力明显变差——它们宁愿绕远路也不敢破坏编队几何。所以最终协同引导只约束“别撞”“别散”，不限制具体队形。

第四层是效率惩罚：每架无人机每飞行1米，团队获得-0.001的惩罚。这个值非常小，而且我用的是全局累加方式，目的是在不干扰安全与协同的前提下，把“绕远路太多”的负效应一点一点传递给训练过程。

四层奖励的权重配合很关键。我最终的配置是安全惩罚主导、任务奖励兜底、协同引导居中、效率惩罚保底。在实际训练中发现，如果协同引导的权重超过安全惩罚的1.5倍，策略会偏向保守，编队变成“扎堆式”缓慢推进，到达时间极差；如果安全惩罚过大，无人机宁愿原地盘旋也不前进，导致回合超时。

3.3 训练配置与收敛过程

网络结构上，actor和critic都是三层全连接网络，宽度256，激活函数ReLU。MAPPO的训练参数里，我额外关注了几个直接影响稳定性的项：

• PPO的clip率设为0.2，这个值是经验值，调大后训练曲线波动明显增大，调小则收敛太慢
• GAE的lambda设为0.95，偏向后向估计，好处是奖励稀疏环境下价值估计的方差更可控
• 熵系数初期设为0.01，随着训练推进逐步衰减到0.001，目的是前期鼓励探索、后期收敛到确定性策略
• 学习率采用线性衰减策略，从3e-4到1e-5，衰减速度跟训练步数绑定

训练配置用单机8核CPU跑，速度大约每分钟6000个环境step。整体训练了约300万步，花费在11个小时左右后曲线稳定。前100万步的曲线几乎是平的，当时一度怀疑奖励设计有问题，后来发现这个阶段是整个策略的“探索期”——它在尝试各种极端的动作，经常全员坠毁。100万步之后，成功率曲线开始明显抬头，200万步时成功率突破70%，300万步稳定在85%左右。

这里有一个值得记下的经验：训练曲线的“平台期”不要轻易下结论。我的第一版奖励函数在150万步之前没有任何起色，差点被我放弃。后来加入了站位随机的初始威胁场景，相当于做了一波环境随机化的隐式数据增强，曲线就活了。所以当你看到训练不收敛时，先检查环境随机性是否足够，再动奖励权重，顺序不要搞反。

4. 性能实测：仿真成绩好看，不代表真机可靠

算法训练完成，仿真里跑得好，只能算完成了第一步。真正有价值的验证，是把策略从仿真环境搬到实际测试体系里做性能实测。我在这个环节的体会是：仿真和实测之间的鸿沟，比很多人想象中大得多。

4.1 实测方案设计

实测平台的搭建思路是这样的：核心策略部署在一台地面计算站上，通过机载链路向每架无人机下发动作为目标航向角和目标速度，无人机自带飞控完成底层姿态稳定。同时把机载探测信息回传计算站，模拟传感器感知。这样既避免了对机载计算单元的高算力要求，又能保留动态决策链路。

数据采集环节，我设定了三类随机场景，每类场景重复20次：

数据对比采用三种传统路径规划算法作为基线，分别是改进型A*（全局重规划）、RRT*（随机采样重规划）、人工势场法ARCF（改进势场避让）。强化学习策略取训练完成后的固定模型。

4.2 关键性能指标对比

完成全部场景实测后，最核心的数据汇总如下：

看到这个结果，先说结论：MAPPO在成功率、任务时长和安全性三个维度上全面领先，尤其是成功率，比表现较好的RRT*高了30个百分点。三个传统算法的问题也很清楚：

A*在遇到突发危险区域时，最耗时的其实是“重规划”的过程——全局栅格要重新计算，整个路径搜索树要重新构建。稀疏场景下还能及时响应，密集场景下单次重规划耗时超过2秒，对以每秒50米速度飞行的无人机来说，这个等待时间意味着将近100米的航程盲飞。

RRT相对更灵活，随机采样机制让它对动态威胁的适应比A好，但生成的路径质量不稳定。有一次实验中，它给出了一条紧贴危险边界的航迹，离危险区最小距离只有21米，几乎踩线通过。原因在于采样点如果每次都正好落在危险区边缘，重规划后的路径没有足够的安全余量。

人工势场在低维度场景下反应极快，单步决策只有约0.01秒，但它的致命缺陷是容易陷入“局部最优”——多个突发危险区构成的合力场把无人机困在局部最小值点，在原地反复振荡。中等场景里有5次失败正是由这个原因导致的。

4.3 观测数据背后的三个洞见

除了指标，我在实测中还记录了三件值得展开的事。

第一，MAPPO策略对危险区域的避让不是“贴边式”的，而是带有明显的预判属性。从轨迹回放看，无人机在危险区域进入探测范围后，其航向变化不是等到接近危险边界才开始，而是提前150到200米就逐渐偏转。这和我预期的一致：强化学习从训练中学到了“扩张中的危险区域会进一步压缩安全空间”的规律，因此会提前让出额外余量。A和RRT的表现则是标准的反应式避让——边界近了才触发躲避逻辑。

第二，编队的航线分配有明显的自组织特征。传统算法下，编队成员对同一突发区域的避让路线往往是同构的——大家绕同一个方向拉开。MAPPO策略中，编队会自动分裂成两组，一组向左绕、一组向右绕，在危险区域两侧形成对流式编队。这为后续通过窄通道提供了更大的安全空间。这个行为没有任何人工干预，完全是通过奖励函数里的“协同引导”自然涌现的。

第三，在密集场景中，MAPPO依然出现了2次失败。复盘后发现失败时刻有一个共同模式：瞬间出现了第5个危险区域，恰好位置在编队正前方，扩张速度又很快，感知信息刚被收录进状态空间，策略网络给出的动作仍是基于前一步状态做出的，相当于有一拍的延迟。要解决这个问题，单纯靠强化学习策略本身很难——需要在前端增加了一个火警级别的“危险事件预测缓冲区”，当检测到新危险区域出现时，直接重置当前动作决策，改用保守悬停或者大幅偏航的应急策略。这也说明了，强化学习策略在实际系统中不是万能的，它和传统应急逻辑的混合部署才是更可靠的做法。

5. 踩坑记录：三个差点让项目翻车的细节

最后一批内容，我不讲方法，只讲教训。这个项目花了很长时间，大部分不是花在读论文和调网络结构上，而是花在一轮又一轮的踩坑和修复上。

5.1 奖励爆炸：一个微小权重引发的失控行为

最先踩的坑是奖励设计不当引发的行为失控。第一版安全惩罚里，我用了危险距离平方的连续函数，本意是让无人机越靠近危险区惩罚越大。但实际训练时，出现了让我困惑的收敛失败。

分析发现，当无人机接近危险区边缘时，距离微小变化会导致平方项剧烈变化，进而影响reward的梯度方向。策略网络为了降低惩罚，学会了“保持在距离阈值之外一点点的地方高速绕圈”——它找到了一个局部最优解：既不进入危险区，也不飞向目标点，因为远离危险区才是当务之急。

这个问题的典型特征是训练曲线稳定但有明显“平台期”，或者任务成功率始终上不去。我最终修复的办法是加了一个立即可判定的“安全距离上限惩罚”：当无人机距离所有目标点超过指定距离时，每步都追加一个中等强度的引导惩罚，逼迫策略将“向目标点前进”作为优先动作。这本质上是用稠密引导惩罚打破局部最优的平衡。

5.2 传感器感知延迟导致的“看不见的威胁”

第二个大坑出在仿真环境的绝对理想化上。最初仿真的传感器模型是零延迟的——危险区域出现一瞬间，状态空间就立即更新。训练出来的策略在仿真里表现很好。但把这个策略放到带真实传感器延迟的实测环境中时，性能急剧下滑，成功率从92%掉到70%出头。

原因是策略网络学到的避让动作是基于“危险区域刚出现时立即响应”这一隐含假设的，真实传感器模型有0.5秒的探测和识别延迟，导致无人机在危机决策帧里用的是过期信息。这个问题在仿真阶段完全暴露不出来。

我的解决办法是在仿真环境的传感器模型中加入0.3到0.6秒的随机延迟，并且把危险的预测协方差直接编码到状态空间中——即不直接输入危险区域的位置，而是输入包含预测误差范围的矢量场信息。这样策略网络在训练阶段就学会了对预测不确定性保持谨慎，真实环境下的表现才重新逼近仿真值。

5.3 编队协同的隐性退化：当策略学会了“跟车”

第三个问题最隐蔽。训练后期，我发现成功率虽然稳定在85%以上，但仔细观察轨迹回放，发现编队中后面的无人机开始“偷懒”——它们的动作很少主动变化，基本是跟随前面无人机的轨迹飞行，只有当前方飞机遇到突发危险时才会大幅转向。

单独看这似乎没问题，甚至可以说是一种节能策略。但一旦前方无人机因传感器误报而做出错误机动，后方无人机由于过度依赖跟车策略，来不及独立判断，整支编队会被带进危险区。这就是协同策略常见的“隐性退化”问题——从表面上数据仍然好看，但应对恶劣突发情况时的适应性已经变差。

我最后通过调整协同奖励的机制解决：把后向无人机与前向无人机的“信息欧氏距离”作为惩罚因子，后机间距过近且轨迹方向与前机高度一致时，给一个微小惩罚，促使后排无人机保持独立决策。修改后重复训练了100万步，成功率从86%回升到92%以上，且实测数据里后排无人机的航向动作方差显著增大。

5.4 域随机化在Sim-to-Real中的关键作用

这里有一个贯穿始终的体会，值得展开说。就是仿真训练的策略部署到真实场景时，很多失败都源于“仿真环境太干净”了。真实世界有通信延迟、速度波动、导航误差这些噪声干扰，而最初的仿真环境把这些全部理想化为零噪声。

我在环境里加入了三类随机扰动后，实测效果立刻明显提升：一是传感器噪声，探测到的目标点坐标增加均值为0、方差为3到5米的高斯噪声；二是动力学执行噪声，飞控下发的目标速度和航向角，在仿真中设定为10%概率偏离当前值；三是通信丢包率，仿真中允许每架无人机的信息传递有10%的概率丢失一帧。这些噪声量看起来很小，但能有效逼迫策略网络在训练时学会抗干扰。

加入这三类扰动后，重新训练的策略在实测环境中的成功率提升了1.3倍，而且单步决策置信度分布也更集中，不会出现极端不自信的决策片段。域随机化可以说是仿真强化学习项目能够落地的必要条件，强烈建议做类似项目的人一开始就把它纳入环境设计里，而不是等实测失败后再回头改。

最后一个个人体会：做这类研究，最难的不是想出方法，而是知道有哪些坑。很多失败和返工，都是因为刚开始过于相信仿真数据。真正要交付到实际系统中的方案，必须把传感器延迟、通信丢包、执行误差这些脏东西放进仿真环境里一起学。这样学出来的策略才敢拿出去应对突发情况。如果你们也在做类似的多无人机路径规划项目，希望这些教训能让你少走几段弯路。