同济大学学报(自然科学版)

作者：余荣杰，徐灵，章锐辞

单位：1.同济大学 道路与交通工程教育部重点实验室，上海 201804;2.浙江杭绍甬高速公路有限公司，浙江 杭州 310000

关键词：交通工程,可变限速协同控制,多智能体深度强化学习,交通拥堵,高速公路,交通效率,交通安全

基金：浙江省交通运输厅科技计划项目（2021047）

面向高速公路多路段可变限速协同控制需求，针对高维参数空间高效训练寻优难题，提出了应用多智能体深度确定性策略梯度（MADDPG）算法的高速公路可变限速协同控制方法。区别于既有研究的单个智能体深度确定性策略梯度（DDPG）算法，MADDPG将每个管控单元抽象为具备Actor-Critic强化学习架构的智能体，在算法训练过程中共享各智能体的状态、动作信息，使得各智能体具备推测其余智能体控制策略的能力，进而实现多路段协同控制。基于开源仿真软件SUMO，在高速公路典型拥堵场景对提出的控制方法开展管控效果验证。实验结果表明，提出的MADDPG算法降低了拥堵持续时间和路段运行速度标准差，分别减少69.23 %、47.96 %，可显著提高交通效率与安全。对比单智能体DDPG算法，MADDPG可节约50 %的训练时间并提高7.44 %的累计回报值，多智能体算法可提升协同控制策略的优化效率。进一步，为验证智能体间共享信息的必要性，将MADDPG与独立多智能体DDPG（IDDPG）算法进行对比：相较于IDDPG，MADDPG可使拥堵持续时间、速度标准差均值的改善提升11.65 %、19.00 %。

来源：2024年第7期

《同济大学学报(自然科学版)》期刊编辑部

查看同济大学学报(自然科学版)杂志2024年第7期