信息学院（人工智能学院）课题组在计算机领域顶刊发表研究成果

近日，信息学院（人工智能学院）孙国栋副教授课题组以“Scheduling Drone and Mobile Charger via Hybrid-Action Deep Reinforcement Learning”为题在计算机领域顶刊《IEEE Transactions on Mobile Computing》（CCF-A类期刊，中科院一区Top）发表研究成果。

无人机因其高度的机动性和便于部署等特点，在生态监测、野生动物观察和森林资源数据收集等领域得到了广泛应用。然而，由于能量限制，无人机无法长时间执行观测或数据收集任务，这在很大程度上影响了任务完成效率。为解决这一问题，本文提出了一种利用地面无人充电车为无人机提供飞行中充电服务的新范式，并对其关键理论问题进行了深入研究。研究成果旨在延长无人机的续航能力和作业范围，从而提高其在各种监测和数据收集应用中的有效性。

针对无人机与无人充电车协同完成数据收集任务的问题，论文首先对研究场景进行了系统化表达，聚焦于无人机飞行轨迹和无人车运动轨迹的异构性，将问题的本质形式化为充电决策、充电点选择及时间分配的协同优化问题。该问题为嵌套的双重NP-难问题，无法依赖传统求解方法得到多项式时间有效解。为此，论文提出一种在离散-连续混合动作空间下的强化学习算法。为克服直接学习混合动作的不可靠性，提出的算法采用了一个新的思路：在传统连续空间学习隐变量，然后通过表示学习策略将隐变量准确还原到原始混合动作。

论文要解决的问题面临的最大挑战在于无人机和无人充电车的动作均为混合动作，且各自的离散动作、连续动作之间以及两者动作之间都存在复杂的、动态变化的依赖关系。为此，论文提出了一种创新方法，通过嵌入表将离散动作映射到隐含的连续动作空间，并利用动作编码器对混合动作进行表征，提出了互学习策略来增强对混合动作之间以及混合动作与环境之间内在关联模式的学习。该算法充分考虑了无人机与无人充电车之间的深度协同关系，为多智能体协同控制提供了新的解决方案。在与最新算法的对比中，该方法展现了优异的性能，能够同时实现无人机与无人充电车的高效控制决策。在确保无人机电量不耗尽的前提下，最大化了无人机的数据收集效率，为复杂环境下的多智能体协同任务提供了有力支持，也为未来国家公园场景下无人机监测任务的部署提供了启发和关键理论支撑。

硕士研究生窦记者为第一作者，孙国栋副教授为通讯作者。该研究获得了国家重点研发项目“长航时无人机森林大型动物智能监测识别技术”（2022YFF1302700）的支持。

论文链接：https://ieeexplore.ieee.org/document/10925829。

撰稿人：窦记者、孙国栋

审稿人：许福