(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111563958.8 (22)申请日 2021.12.20 (65)同一申请的已公布的文献号 申请公布号 CN 114283607 A (43)申请公布日 2022.04.05 (66)本国优先权数据 202011516441.9 2020.12.21 CN (73)专利权人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 李静林　袁泉　罗贵阳　王艳涛　 朱毕川　王尚广　周傲　刘志晗　 (74)专利代理 机构 北京永创新实专利事务所 11121 专利代理师 周长琪 (51)Int.Cl. G08G 1/0968(2006.01) G08G 1/0967(2006.01) G08G 1/01(2006.01) H04W 4/44(2018.01) H04W 4/46(2018.01)G06Q 10/04(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 107563543 A,2018.01.09 CN 109785 619 A,2019.0 5.21 CN 107959708 A,2018.04.24 CN 111845754 A,2020.10.3 0 韩格等.一种基 于博弈论的交通系统最优调 度策略学习方法. 《云南大 学学报(自然科 学 版)》 .2010,(第01期),全 文. Zhuo Yang 等.Co operative drivi ng model for n on-signal ized intersecti ons based on redupl icate dynamic g ame. 《2016 IEEE 19th Internati onal Conference o n Intelligent Transportati on System s (ITSC)》 .2016,全 文. 曹佳钰等.面向自动驾驶应用的车联多智能 体信息融合协同决策机制研究. 《物联网学报》 .2020,(第0 3期),全文. 审查员 牟雪 (54)发明名称 一种基于分布式群智学习的多车协同规划 方法 (57)摘要 本发明公开了一种基于群智学习的多车协 同规划方法， 属于多车路协同决策技术领域。 本 发明中， 利用边缘服务器减 轻了车辆计算能力与 通信能力的要求； 利用演化博弈来建模路由规划 中车辆之间不断博弈的过程， 当博弈状态形成一 个稳定局面时， 每辆车得到自身利益最大化的路 由决策； 在每辆车上部署路口通行驾驶决策模 块， 将车辆看成一个独立决策的个体， 利用 深度 强化学习强大的策略学习能力建模多车在路口 的协同驾驶行为； 在路侧边缘计算部署交通态势 预测模块， 利用多车路的通信能力来扩大车辆有限视野下对交通态势的感知。 本发 明优化了道路 资源的不同方面， 优化了路口的时空利用， 优化 了路口周围道路资源的时空利用， 增大路口的吞 吐量。 权利要求书1页 说明书8页 附图2页 CN 114283607 B 2022.09.20 CN 114283607 B 1.一种基于分布式群智学习的多车协同规划方法， 在道路交通网络中部署边缘计算节 点， 在道路侧部署接入点， 在车辆上配置 辅助驾驶系统； 所述方法包括： 步骤1： 接入点收集车辆信息发送给边缘计算节点， 边缘计算节点预测路口周围的交通 态势； 车辆信息包括车辆的位置、 速度和路由决策； 边缘计算节点中设置多车路由规划决策汇聚模块和预测路口周边交通态势模块； 多车 路由规划决策汇聚模块将多车路由规划建模成一个种群博弈模型， 根据车辆的位置及目的 地将车辆划分到不同的种群中， 每辆车作为种群博弈中的一个代理， 利用演化博弈中的最 优回应动态得到种群博弈 的纳什均衡状态， 获得车辆的路由决策； 预测路口周边交通态势 模块根据所获得的多车的路由决策， 预测路口周围的交通态 势； 步骤2： 车辆上的辅助驾驶系统接收边缘计算节点下发的路口周围的交通态势预测报 告， 计算最优路由决策， 同时与周围车辆进行信息交 互， 获取路口通行驾驶决策； 在车辆的辅助驾驶系统中设置基于演化博弈的路由规划决策模块以及路口通行驾驶 决策模块； 基于演化博弈 的路由规划决策模块根据接 收的路口周围的交通态势预测报告， 利用演化博弈中的最优回应动态计算出当前最优路由决策， 调整自身的路由策略并发送出 去； 路口通行驾驶决策模块将车辆视野范围内的交通态势和与其他车辆交互得到的交通态 势输入训练好的神经网络模 型Actor中， 输出车辆驾驶决策的概率分布， 选取概率最大的驾 驶策略； 其中， Actor网络先通过注意力机制对输入的交通态势处理得到车辆交互关系权重图， 利用该权 重图来对交 互车辆输入的交通态 势进行融合， 再由神经网络进行驾驶决策； 步骤3： 预先在交通环境仿真器下， 利用全局车辆路由规划信 息对路口通行驾驶决策模 块中的Actor网络进行训练。 2.根据权利要求1所述的方法， 其特征在于， 所述的步骤1中， 根据 车辆当前所处 的道路 和车辆目的地的方向， 将车辆划分到对应的种群中， 建立种群博 弈模型如下： 种群博弈模型G＝(P,A)， P为种群的集 合， A为动作集； 每个种群p包含一组代理Vp， p∈P； 种群p的动作集 种群p的状 态集 其中， 表示种群p中选择动作 的车辆数； G的社会状态 表示为X＝{X1,X2,…,X|P|}； 利用演化博弈中的最优回应动态得到种群博弈的纳什均衡状态； 纳什均衡状态用公式 表示为： 其中， F表示种群 博弈的收益函数， Fip(x)表示在社会状态x下种群p中的动作i的收益， 表示在社会状 态x下种群p中的动作j的收益。 3.根据权利要求1所述的方法， 其特征在于， 所述的步骤3 中， 采用强化学习决策训练方 法对路口通行驾驶决策模块中的神经网络模型进行训练， 在训练时， 将全局路由信息和车 辆观察的交通态势输入Critic网络， 对全局路 由信息利用多层感知机预处理后， 再利用平 行的多个线性层提取路由信息的特征， 将不同线性层提取的特征作用于Cr itic网络的多层 感知机的输入和各层的神经节 点的参数， 最终输出动作值函数Q； 利用Critic网络的输出进 行Actor的训练； 将训练完成后得到的Actor网络 部署在车辆上。权　利　要　求　书 1/1 页 2 CN 114283607 B 2一种基于分布式群 智学习的多车 协同规划方法 技术领域 [0001]本发明涉及道路交通网络、 多车协同技术领域， 具体涉及一种基于分布式群智学 习的多车协同规划方法。 背景技术 [0002]城市交通空间资源有限， 机动车的急剧增加， 打破了脆弱的道路供求平衡关系， 导 致交通拥堵。 因此如何协同车辆的行驶轨迹， 充分地利用有限的道路资源， 提高交通的通行 效率， 缓解道路交通拥堵的现状是当前的一个 研究方向。 [0003]车辆路由规划已被证明是缓解城市交通拥堵的有效途径。 受益于智能交通系统和 智能网联车辆， 路由规划 技术已经从静态路由演化为基于实时交通信息的动态路由， 但一 些利用实时道路网络信息为车辆规划源 ‑目的地的最优路径算法没有考虑车辆之 间的相互 影响。 近年来， 有研究学者提出了一些考虑了多 车路由的相互影响的算法， 但它们采用了集 中控制框架， 并假设驾驶员具有完美的个体理性， 即驾驶员完全按照系统推荐的路由行驶， 然而在实践中， 由于驾驶员的有限理性， 他们 可能会根据自己有限的知识和局部信息来规 划路由， 而不一定会遵循系统推荐的最优路由。 而且， 随着路网规模的扩大， 集中控制的计 算复杂度呈指数级增长， 使得这种控制方法不 适用于实时交通。 [0004]公开号为CN105313891A的专利文献在2016年2月10日公开了一种多车协同避撞 方 法及装置， 包括： 1)行驶车辆监测自车的制动工况； 2)当某辆车的制动工况超过设定制动阈 值时， 则该车为首车， 首车后方的车辆为后车； 否则返回1)； 3)首车将其作为首车的信息输 送至后车； 4)各后车接收到首车信息后， 将自车的车况信息输送给首车； 5)首车接收各后车 的车况信息后集中规划后车 的制动加速度， 并将期望加速度输送给相应的后车； 6)后车接 收期望加速度， 并按照期 望加速度对自车进行控制。 7)若后车停止， 停止控制； 否则返回4)。 该技术方案可以有效利用制动车辆队列中各车间的制动空间进行控制， 实现车辆相对位置 的均匀分布， 从而有效避免碰撞或者减轻碰撞损伤程度并提高制动过程的乘坐舒适性。 但 不足之处在于， 在多 车协同控制过程中， 选择一个首车来协同多 车在路口的驾驶行为， 集中 式控制的方式存在车辆驾驶安全隐患的问题。 首先， 多车协同的驾驶决策 的任务由一辆车 完成， 这对首车造成了严重的计算和通信负担。 首车需要具备同时与多车进行信息交互的 通信能力， 还需要 具备计算多 车协同驾驶策略的计算能力。 其次， 车辆的驾驶行为是由首车 控制的， 车辆 没有独立的决策能力， 并且假定车辆完全服 从首车的驾驶指 令。 交通路口的态 势复杂多变， 车辆之 间的通信质量受环境影响。 在可能产生干扰路段的环境中， 可能导致通 信延迟， 车辆不能及时接收首 车发送的驾驶指令，