(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111500932.9 (22)申请日 2021.12.09 (65)同一申请的已公布的文献号 申请公布号 CN 114147718 A (43)申请公布日 2022.03.08 (73)专利权人 申江万国数据信息股份有限公司 地址 065201 河北省廊坊市三河市燕郊开 发区迎宾路东申江路8号 (72)发明人 邓昱晨　何海楠　李刚　张静　 (74)专利代理 机构 北京开阳星知识产权代理有 限公司 1 1710 专利代理师 王艳斌 (51)Int.Cl. B25J 9/16(2006.01) G06N 20/00(2019.01)审查员 陈礼平 (54)发明名称 无人档案库房多任务执行控制方法、 装置、 设备以及 介质 (57)摘要 本公开涉及无人档案库房多任务执行控制 方法、 装置、 设备以及介质， 该方法包括获取无人 档案库房的特征参数， 并基于特征参数， 确定任 务动作关联的初始化参数； 基于特征参数和初始 化参数， 构建基于强化学习的档案抓取过程模 型； 基于档案抓取过程模 型， 通过仿真迭代， 获取 档案抓取过程优化策略集； 其中， 通过随机策略 迭代可能发生的所有任务序列， 迭代终止条件为 已经迭代了所有的可能发生的任务序列， 优化策 略集为针对各任务序列的用时最短的策略的集 合； 基于优化策略集与多个待执行任务， 确定任 务序列。 由此， 可形成符合库房特征的最优取档 策略， 有效优化任务序列的取档 时间， 提升无人 档案库房实际运行效率， 提升用户体验。 权利要求书2页 说明书11页 附图2页 CN 114147718 B 2022.10.04 CN 114147718 B 1.一种无 人档案库房多任务执 行控制方法， 其特 征在于， 包括： 获取无人档案库房的特征参数， 并基于所述特征参数， 确定任务动作关联的初始化参 数； 基于所述特 征参数和所述初始化 参数， 构建基于强化学习的档案抓取 过程模型； 基于所述档案抓取过程模型， 通过仿真迭代， 获取档案抓取过程优化策略集； 其中， 通 过随机策略迭代可能发生的所有任务序列， 迭代终止条件为已经迭代了所有的可能发生的 任务序列， 优化策略集 为针对各任务序列的用时最短的策略的集 合； 基于所述优化策略集与多个待执 行任务， 确定优化后的任务序列； 其中， 所述特征参数包括密集架列数、 每列密集架 的宽度以及密集架中的固定架 的位 置； 所述基于所述特征参数， 确定任务动作关联的初始化参数包括： 对密集架的列数编号、 密集架的开 合时间、 自动抓取装置的运行速度进行初始化设定， 确定所述初始化 参数。 2.根据权利要求1所述的方法， 其特征在于， 所述档案抓取过程模型满足马尔科夫性 质。 3.根据权利要求2所述的方法， 其特征在于， 所述构建基于强化学习的档案抓取过程模 型包括： 基于密集架 的列数、 已开启的密集架 的列数以及 自动抓取装置所处的列数， 确定抓取 的状态空间； 基于密集架的列数、 将开启的密集架的列 数以及自动 抓取装置当前所要到达的目标列 数， 确定抓取的行为空间； 确定抓取的状态转移概 率； 建立状态行为的奖励函数； 确定衰减系数； 基于所述状态 空间、 所述行为空间、 所述状态转移概率、 所述奖励函数以及所述衰减系 数， 构建基于强化学习的档案抓取 过程模型。 4.根据权利要求1至3任一项所述的方法， 其特征在于， 所述基于所述档案抓取过程模 型， 通过仿真迭代， 获取档案抓取 过程优化策略集， 包括： 基于所述档案抓取 过程模型， 构建任务序列价 值函数； 在初始抓取策略为随机策略的情况下， 通过迭代计算， 确定随机策略下每个状态的价 值； 基于更新后的状态的价 值， 采用更新策略再次迭代计算， 得到更新策略下的状态价 值； 多次更新并迭代， 确定档 案抓取过程中的优化策略集； 其中， 所述优化策略集包括针对 各任务的最优策略及最优状态价 值。 5.根据权利要求 4所述的方法， 其特 征在于， 所述更新策略包括贪心算法。 6.根据权利要求4所述的方法， 其特征在于， 所述基于所述优化策略集与多个待执行任 务， 确定优化后的任务序列， 包括： 基于所述最优策略及所述最优状态价值， 针对多个待执行任务， 依次选择当前状态价 值最优的行为， 形成所述优化后的任务序列； 其中， 所述行为表示档案抓取， 所述状态价值为确定所述优化后的任务序列的参数依 据。权　利　要　求　书 1/2 页 2 CN 114147718 B 27.一种无 人档案库房多任务执 行控制装置， 其特 征在于， 包括： 参数获取单元， 用于获取无人档案库房的特征参数， 并基于所述特征参数， 确定任务动 作关联的初始化 参数； 模型构建单元， 用于基于所述特征参数和所述初始化参数， 构建基于强化学习的档案 抓取过程模型； 仿真迭代单元， 用于基于所述档案抓取过程模型， 通过仿真迭代， 获取档案抓取过程优 化策略集； 其中， 通过随机策略迭代可能发生的所有任务序列， 迭代终止条件为已经迭代了 所有的可能发生的任务序列， 优化策略集 为针对各任务序列的用时最短的策略的集 合； 序列确定单 元， 用于基于所述优化策略集与多个待执 行任务， 确定任务序列； 其中， 所述特征参数包括密集架列数、 每列密集架 的宽度以及密集架中的固定架 的位 置； 所述基于所述特征参数， 确定任务动作关联的初始化参数包括： 对密集架的列数编号、 密集架的开 合时间、 自动抓取装置的运行速度进行初始化设定， 确定所述初始化 参数。 8.一种电子设备， 其特 征在于， 包括： 处 理器和存 储器； 所述处理器通过调用所述存储器存储的程序或指令， 用于执行如权利要求1至6任一项 所述方法的步骤。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储程序或指令， 所述程序或指令使计算机执 行如权利要求1至 6任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114147718 B 3