(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111450101.5 (22)申请日 2021.11.30 (71)申请人 上海阵量智能科技有限公司 地址 200235 上海市徐汇区永嘉路698号 518室 (72)发明人 冷祥纶　刘文龙　刘才齐　李林鹏　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 代理人 袁忠林 (51)Int.Cl. G06F 9/48(2006.01) G06N 20/00(2019.01) (54)发明名称 算子执行设备、 算子调度设备、 方法、 及芯片 (57)摘要 本公开提供了一种算子执行设备、 算子调度 设备、 方法、 芯片、 计算机设备及存储介质， 其中， 算子执行设备， 包括： 算子调度器、 以及执行单 元； 所述算子调度器， 用于响应于接收到待启动 算子的算子启动指令， 基于所述算子启动指令中 携带的算子类型信息， 将所述算子启动指令下发 至与所述算子类型信息对应的执行单元； 所述算 子启动指令中包括对所述执行单元中运算单元 的调度信息； 所述执行单元， 用于响应于接收到 所述算子调度器下发的所述算子启动指令， 基于 所述算子启动指令中携带的调度信息， 执行所述 待启动算子 。 权利要求书4页 说明书23页 附图3页 CN 114138440 A 2022.03.04 CN 114138440 A 1.一种算子执 行设备， 其特 征在于， 包括： 算子调度器、 以及执 行单元； 所述算子调度器， 用于响应于接收到待启动算子的算子启动指令， 基于所述算子启动 指令中携带的算子类型信息， 将所述算子启动指 令下发至与所述算子类型信息对应的执行 单元； 所述算子启动指令中包括对所述执 行单元中运算单元的调度信息； 所述执行单元， 用于响应于接收到所述算子调度器下发的所述算子启动指令， 基于所 述算子启动指令中携带的调度信息， 执 行所述待启动算子 。 2.根据权利要求1所述的算子执行设备， 其特征在于， 所述调度信息包括下述至少一 种： 所述待启动算子的标识、 所述待启动算子中待执行的任务块的数量、 所述待执行的任 务块中起始任务块的任务块标识、 执行所述待执行 的任务块的运算单元数量、 以及执行所 述待执行的任务 块的运算单元标识； 其中， 每个任务块包括所述待启动算子中的多个子任务。 3.根据权利要求1或2所述的算子执行设备， 其特征在于， 所述执行单元包括： 任务块调 度器、 以及多个运 算单元； 所述任务块调度器， 用于响应于接收到所述算子调度器下发的所述算子启动指令， 基 于所述算子启动 指令中携带的调 度信息， 从多个运算单元中确定执行所述待启动算子的目 标运算单元、 以及确定待 执行的任务块； 向所述目标运算单元下发所述待 执行的任务块； 每 个所述待执 行的任务 块， 包括所述待启动算子中的多个子任务； 所述运算单元， 用于响应于接收到所述任务块调度器下发的所述待执行的任务块， 执 行与所述待执 行的任务 块对应的数据处 理任务。 4.根据权利要求3所述的算子执行设备， 其特征在于， 所述调度信息包括： 待启动算子 中待执行的任务 块的数量、 以及所述待执 行的任务 块中起始任务 块的任务 块标识； 所述任务块调度器， 在基于所述算子启动指令中携带的调度信息， 确定多个所述待执 行的任务块时， 用于： 基于所述起始任务块的任务表标识， 并以所述起始任务块为起始， 确 定与所述待执 行的任务 块的数量对应的多个任务 块， 作为所述待执 行的任务 块。 5.根据权利要求4所述的算子执行设备， 其特征在于， 所述任务块调度器， 在 向所述目 标运算单元下发所述待执行 的任务块时， 用于基于所述待执行的任务块的数量、 以及所述 目标运算单元 的数量， 从所述待执行 的任务块中， 确定 向各个所述 目标运算单元下发的待 执行的任务 块； 向各个所述目标运 算单元下发为各个目标运 算单元确定的待执 行的任务 块。 6.根据权利要求4或5所述的算子执行设备， 其特征在于， 所述调度信 息包括： 执行所述 待执行的任务 块的运算单元数量、 或者执 行所述待执 行的任务 块的运算单元标识； 所述任务块调度器， 在基于所述算子启动指令中携带的调度信息， 从多个运算单元中 确定执行所述待启动算子的目标运 算单元时， 用于： 基于执行所述待执行的任务块的运算单元数量、 或者执行所述待执行的任务块的运算 单元标识， 从多个运 算单元中， 确定执 行所述待启动算子的目标运 算单元。 7.根据权利要求1 ‑6任一项所述的算子执行设备， 其特征在于， 所述算子启动指令包 括： 用于携带 所述调度信息的第一字段、 以及下述至少字段中的至少一种： 用于携带所述待启动算子对应的待处理数据的尺寸信 息的第二字段、 用于携带一个任权　利　要　求　书 1/4 页 2 CN 114138440 A 2务块对应的尺寸信息的第三字段、 用于携带所需内存空间大小的第四字段、 以及用于携带 所述待启动算子对应的代码地址的第五字段。 8.一种算子调度设备， 其特 征在于， 包括： 调度策略生成器、 以及指令生成器； 所述调度策略生成器， 用于生成利用所述算子执行设备执行深度学习模型的算子时， 对所述算子执行设备中的运算单元进 行调度的调度策略； 并向所述指 令生成器传输所述调 度策略； 所述指令生成器， 用于基于所述调度策略生成算子启动指令， 并向所述算子执行设备 发送所述 算子启动指令 。 9.根据权利要求8所述的算子调度设备， 其特征在于， 所述调度策略包括： 算子启动 时 刻、 以及与各个算子启动时刻对应的调度信息； 所述调度信息包括下述至少一种： 所述待启动算子的标识、 所述待启动算子中待执行 的任务块的数量、 所述待执行 的任务块中起始任务块的任务块标识、 执行所述待执行 的任 务块的运算单元数量、 以及执 行所述待执 行的任务 块的运算单元标识； 其中， 每个任务块包括所述待启动算子中的多个子任务。 10.根据权利要求8或9所述的算子调度设备， 其特征在于， 所述调度策略生成器， 生成 利用所述算子执行设备执行深度学习模型的多算子时， 对所述算子执行设备中的运算单元 的调度策略时， 用于： 对深度学习模型进行解析， 得到所述深度学习模型中的多个算子； 基于多个所述算子分别对应的运算信 息以及算子执行设备的算力信 息， 确定在执行多 个所述算子时对所述 算子执行设备中的运 算单元的调度策略； 其中， 每个任务块包括对应算子中的多个子任务； 基于所述调度策略调度算子执行设 备执行多个所述 算子。 11.根据权利要求10所述的算子调度设备， 其特征在于， 所述运算信息包括： 所述多个 算子分别对应的运算信息包括多个所述算子分别对应的任务块的执行时长、 及多个所述算 子之间的并行度。 12.根据权利要求10或11所述的算子调度设备， 其特征在于， 所述调度策略生成器， 还 用于采用下述方式获取多个算子分别对应的任务 块的执行时长： 基于所述算子在执行时需要占用的内存、 以及所述算子执行设备的算力信息， 估算执 行所述算子的各个任务 块所需要的执 行时长。 13.根据权利要求12所述的算子调度设备， 其特征在于， 所述调度策略生成器， 在基于 所述算子在执行时需要占用的内存、 以及所述算子执行设备 的算力信息， 估算执行所述算 子的各个任务 块所需要的执 行时长时， 用于： 基于所述算子在执行时所需要占用的内存、 以及所述运算单元对所述内存的访存带 宽， 确定访存时长； 以及 基于所述任务块中的每个子任务中的各计算步骤所需要的算力信 息， 以及所述每个运 算单元的算力 信息， 确定所述任务 块的计算时长； 基于所述访存时长以及所述计算时长， 确定执 行所述任务 块所需要的执 行时长。 14.根据权利要求10或11所述的算子调度设备， 其特征在于， 所述调度策略生成器， 用 于采用下述方式获取多个算子分别对应的任务 块的执行时长：权　利　要　求　书 2/4 页 3 CN 114138440 A 3