(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111508235.8 (22)申请日 2021.12.10 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 张宸鸣　钟开　张通滨　杨建忠　 卢振　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 代理人 王达佐　马晓亚 (51)Int.Cl. G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 多任务模 型训练方法和装置、 多任务处理方 法和装置 (57)摘要 本公开提供了一种多任务模型训练方法和 装置， 涉及计算机视觉、 深度学习等技术领域。 具 体实现方案为： 获取包括至少一类初始图像的训 练样本集； 获取预先建立的多任务网络， 多任务 网络中的通用特征提取器通过分支节点分别与 各个初始分支网络连接； 从训练样 本集中选取初 始图像， 将选取的初始图像输入通用特征提取 器， 得到与选取的初始图像对应的特征图； 针对 得到的特征图中的各个特征图， 将该特征图输入 该特征图的识别要素对应的初始分支网络； 采集 分支节点中各个初始分支网络的梯度值， 并基于 各个初始分支网络的梯度值调整相应初始分支 网络的损失权重值， 响应于多任务网络满足训练 完成条件， 得到多任务模型。 该实施方式平衡了 多个任务的训练效果。 权利要求书3页 说明书13页 附图3页 CN 114202026 A 2022.03.18 CN 114202026 A 1.一种多任务模型训练方法， 所述方法包括： 获取包括至少一类初始图像的训练样本集， 其中， 每类初始图像标注有至少一类识别 要素； 获取预先建立的多任务网络， 所述多任务网络包括通用特征提取器和与各类识别要素 一一对应的初始分支网络， 所述通用特征提取器通过分支节点分别与各个初始分支网络连 接； 执行以下训练步骤： 从所述训练样本集中选取初始图像， 将选取的初始图像输入所述通用特征提取器， 得 到与选取的初始图像一一对应的特征图， 所述选取的初始图像的识别要 素与所有初始分支 网络相对应； 针对得到的特征图中的各个特征图， 将该特征图输入该特征图的识别要素对应的初始 分支网络； 采集所述分支节点中各个初始分支网络的梯度值， 并基于各个初始分支网络的梯度值 调整相应初始分支网络的损失权重值， 响应于所述多任务网络满足训练完成条件， 得到多 任务模型。 2.根据权利要求1所述的方法， 其中， 所述将选取的初始图像输入所述通用特征提取 器， 得到与选取的初始图像一 一对应的特 征图， 包括： 响应于所述选取的初始图像为多类， 将多类初始图像叠加输入所述通用特征提取器， 得到所述 通用特征提取器输出的特 征图； 对所述通用特征提取器输出的特征图按照所述多类初始图像的种类进行拆分， 得到与 所述多类初始图像对应的特 征图。 3.根据权利要求1所述的方法， 所述方法还 包括： 获取新增图像， 所述 新增图像标注有至少一类新增要素； 在所述多任务模型中增加与 所有新增要素对应的新增分支网络， 以使所述通用特征提 取器通过 所述分支 节点还与所述 新增分支网络连接； 执行以下新的训练步骤： 选取新增图像和初始图像， 将选取的新增图像与选取的初始图像同时输入所述通用特 征提取器， 得到新的特 征图； 将从所述新的特征图中拆分出的、 对应选取的初始图像的特征图输入依次输入各个初 始分支网络； 将从所述新的特征图中拆分出的、 对应选取的新增图像的特征图输入所述新增分支网 络； 采集所述分支节点中各个初始分支网络以及所述新增分支网络的梯度值， 并基于各个 初始分支网络的梯度值和所述新增分支网络的梯度值调整相应初始分支网络和/或新增分 支网络的损失权 重值。 4.根据权利要求1所述的方法， 其中， 所述初始分支网络包括： 语义分割网络、 目标检测 网络、 关键点检测网络中的任意两种。 5.根据权利要求1所述的方法， 其中， 所述基于各个初始分支网络的梯度值调整相应初 始分支网络的损失权 重值， 包括：权　利　要　求　书 1/3 页 2 CN 114202026 A 2响应于当前迭代训练周期中所有初始分支网络中当前的初始分支网络的梯度值大于 其他初始分支网络的梯度值， 在下一迭代训练周期中将当前的初始分支网络的损失权重值 设置为小于其 他初始分支网络的损失权 重值。 6.根据权利要求1所述的方法， 所述方法还 包括： 去除所述多任务模型中的一个或多个初始分支网络 。 7.一种多任务处 理方法， 所述方法包括： 获取待处 理图像； 将所述待处理图像输入采用如权利要求1 ‑6中任一项所述的方法生成的多任务模型 中， 输出所述待处 理图像的多任务处 理结果。 8.根据权利要求7 所述的方法， 其中， 所述多任务处 理结果包括： 待处理图像中的目标的语义分割结果、 目标检测结果以及 关键点检测结果中的至少两 项。 9.一种多任务模型训练装置， 所述装置包括： 样本获取单元， 被配置成获取包括至少一类初始图像的训练样本集， 其中， 每类初始图 像标注有至少一类识别要素； 网络获取单元， 被配置成获取预先建立的多任务网络， 所述多任务网络包括通用特征 提取器和与各类识别要素一一对应的初始分支网络， 所述通用特征提取器通过分支节点分 别与各个初始分支网络连接； 图像选取单元， 被配置成从所述训练样本集中选取初始图像， 将选取的初始图像输入 所述通用特征提取器， 得到与选取 的初始图像一一对应的特征图， 所述选取 的初始图像的 识别要素与所有初始分支网络相对应； 特征输入单元， 被配置成针对得到的特征图中的各个特征图， 将该特征图输入该特征 图的识别要素对应的初始分支网络； 梯度调整单元， 被配置成采集所述分支节点中各个初始分支网络的梯度值， 并基于各 个初始分支网络的梯度值调整相应初始分支网络的损失权 重值； 模型得到单元， 被配置成在所述多任务网络满足训练完成条件时， 得到多任务模型。 10.根据权利要求9所述的装置， 其中， 所述图像选取 单元包括： 叠加模块， 被配置成响应于所述选取的初始图像为多类， 将多类初始图像叠加输入所 述通用特征提取器， 得到所述 通用特征提取器输出的特 征图； 得到模块， 被配置成对所述通用特征提取器输出的特征图按照所述多类初始图像的种 类进行拆分， 得到与所述多类初始图像对应的特 征图。 11.根据权利要求9所述的装置， 所述装置还 包括： 新增获取 单元， 被配置成获取新增图像， 所述 新增图像标注有至少一类新增要素； 网络增加单元， 被配置成在所述多任务模型中增加与 所有新增要素对应的新增分支网 络， 以使所述 通用特征提取器通过 所述分支 节点还与所述 新增分支网络连接； 新增选取单元， 被配置成选取新增图像和初始图像， 将选取的新增图像与选取的初始 图像同时输入所述 通用特征提取器， 得到新的特 征图； 初始输入单元， 被配置成将从所述新的特征图中拆分出的、 对应选取的初始图像的特 征图输入依次输入各个初始分支网络；权　利　要　求　书 2/3 页 3 CN 114202026 A 3