(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111444086.3 (22)申请日 2021.11.30 (71)申请人 深圳市联洲国际技 术有限公司 地址 518109 广东省深圳市南 山区高新 技 术园区科发路1号 富利臻大厦5楼 (72)发明人 贺斌　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 代理人 赵丽婷 (51)Int.Cl. H04W 24/02(2009.01) H04W 40/24(2009.01) G06N 20/00(2019.01) (54)发明名称 基于强化学习优化组网的方法、 装置及系统 (57)摘要 本发明公开了一种基于强化学习优化组网 的方法、 装置及系统， 所述方法， 包括： 获取无线 组网系统的各个AP的优化顺序； 基于所述优化顺 序， 确定每个所述AP的父节点； 基于 所述父节点， 确定每个所述AP的目标父节点； 对所述目标父节 点进行更新， 获取每个所述AP的更新目标父节 点。 本发明的技术方案， 基于强化学习的实现方 式， 可以实现无线组网系统的自动迭代优化， 无 需额外的专家经验， 便可以实现最优组网形态的 探索与确认， 自适应能力强。 权利要求书2页 说明书9页 附图2页 CN 114374989 A 2022.04.19 CN 114374989 A 1.一种基于强化学习优化组网的方法， 其特 征在于， 包括： 获取无线组网系统的各个AP的优化 顺序； 基于所述优化 顺序， 确定每 个所述AP的父节点； 基于所述父节点， 确定每 个所述AP的目标 父节点； 对所述目标 父节点进行 更新， 获取每 个所述AP的更新目标 父节点。 2.根据权利要求1所述的方法， 其特征在于， 所述获取无线组网系统的各个AP的优化顺 序， 包括： 获取所述无线组网系统中各个所述AP之间的关系； 基于各个所述AP之间的关系， 确定所述AP的层级关系。 3.根据权利要求2所述的方法， 其特征在于， 所述基于各个所述AP之间的关系， 确定所 述AP的层级关系， 包括： 确定一个根节点， 将所述 根节点确定为第一层AP节点； 将所述第一层AP节点可以扫描到的所有的所述AP节点， 确定为第二层AP节点； 将所述第一层AP节点无法扫描到， 且所述第二层AP节点可以扫 描到的所有的所述AP节 点， 确定为第三层AP节点。 4.根据权利要求3所述的方法， 其特征在于， 所述基于各个所述AP之间的关系， 确定所 述AP的层级关系， 还 包括： 对每一层所有的所述节点进行排序； 其中， 所述对每一层所有的所述节点进行排序， 包 括： 获取第N层的第i个所述AP； 计算所述第i个所述AP与第N ‑1层的所有的所述AP的扫描信号强度的和； 对所述第N层的每 个所述AP的信号强度的和进行排序， 获取排序结果； 其中， N＝1、 2……； i为大于0的整数。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述优化顺序， 确定每个所述AP 的父节点， 包括： 将层级高于所述AP或所述信号强度的和高于所述AP的所述信号强度的和的AP节点作 为所述AP的父节点。 6.根据权利要求1所述的方法， 其特征在于， 所述基于所述父节点， 确定每个所述AP的 目标父节点， 包括： 获取每个所述AP的所有的所述父节点； 确定每个所述父节点对应的评估值； 其中， 所述评估值包括时延值； 对每个所述AP的所 有的所述父节点的所述时延值进行比较， 获取比较结果； 基于所述比较结果， 获取每 个所述AP的目标 父节点。 7.根据权利要求1所述的方法， 其特征在于， 所述对所述目标父节点进行更新， 获取每 个所述AP的更新目标 父节点， 包括： 获取触发条件； 所述获取触发条件包括： 若所述无线组网系统的状态发生变更或达到 定时检测时间的阈值， 则对时延值和时延阈值进 行比较， 获取比较结果； 当所述时延值大于 时延阈值， 则获取 所述触发条件； 基于所述触发条件 对所述目标 父节点进行 更新， 获取 更新目标 父节点。权　利　要　求　书 1/2 页 2 CN 114374989 A 28.根据权利要求7所述的方法， 其特征在于， 基于所述触发条件对所述目标父节点进行 更新， 获取 更新目标 父节点， 包括： 获取状态信 息表的状态； 当所述状态信 息表的状态发生改变， 则对Q表中的每个所述 时 延值进行 更新， 获取 更新Q表； 基于所述更新 Q表， 获取 所述更新目标 父节点。 9.根据权利要求8所述的方法， 其特征在于， 基于如下公式对所述Q表中的每个所述时 延值进行 更新： 其中： s为状态； a为父节点切换动作； ɑ为可调权值； Q 为Q表中的值； R为时延值。 10.一种基于强化学习优化组网的装置， 其特 征在于， 包括： 顺序模块， 用于获取 无线组网系统的各个AP的优化 顺序； 第一确定模块， 用于基于所述优化 顺序， 确定每 个所述AP的父节点； 第二确定模块， 用于基于所述父节点， 确定每 个所述AP的目标 父节点； 更新模块， 用于对所述目标 父节点进行 更新， 获取每 个所述AP的更新目标 父节点。 11.一种基于强化学习优化组网的系统， 其特 征在于， 包括： 数据处理单元， 用于获取 各个AP之间的信号强度； 强化学习单元， 用于基于所述信号强度， 确定每个所述AP的父节点， 然后根据 所述父节 点， 确定所述每 个所述AP的目标 父节点； 算法触发单 元， 用于获取触发条件； 更新单元， 用于基于触发条件 对所述目标 父节点进行 更新， 获取 更新目标 父节点。 12.一种电子设备， 其特征在于， 包括处理器、 存储器以及存储在所述存储器中且被配 置为由所述处理器执行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1至9中任意 一项所述的方法。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的计算 机程序， 其中， 在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权 利要求1至9中任意 一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114374989 A 3