(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111552763.3 (22)申请日 2021.12.17 (71)申请人 广州文远知行 科技有限公司 地址 510000 广东省广州市广州中新广州 知识城九佛建 设路333号自编687室 申请人 东风汽车集团股份有限公司 (72)发明人 陈龙　咸志伟　陈坤杰　霍达　 边宁　韩旭　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 代理人 梁顺珍　陈志明 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/06(2012.01) G06N 3/08(2006.01) (54)发明名称 一种标注效率评估方法、 装置、 电子设备、 存 储介质 (57)摘要 本申请公开了一种标注效率评估方法、 装 置、 电子设备、 存储介质； 所述方法包括： 构建人 工标注时长预测模型； 获取标注数据的人工标注 结果和自动标注结果； 将所述人工标注结果和自 动标注结果作为所述人工标注时长预测模型的 输入， 通过所述人工标注时长预测模型， 得到基 于自动标注结果的人工标注预测时长； 根据所述 基于自动标注结果的人工标注预测时长， 量化标 注效率。 本申请能够更加直观、 准确地体现自动 标注方法对人工标注的辅助效果。 权利要求书3页 说明书10页 附图2页 CN 114372614 A 2022.04.19 CN 114372614 A 1.一种标注效率评估方法， 其特 征在于， 包括： 构建人工标注时长预测模型； 获取标注数据的人工标注结果和自动标注结果； 将所述人工标注结果和自动标注结果作为所述人工标注时长预测模型的输入， 通过所 述人工标注时长预测模型， 得到基于自动标注结果的人工标注预测时长； 根据所述基于自动标注结果的人工标注预测时长， 量 化标注效率。 2.根据权利要求1所述的标注效率评估方法， 其特征在于， 所述自动标注结果包括基准 标注结果和相对标注结果； 所述获取 标注数据的人工标注结果和自动标注结果， 包括： 获取待标注数据； 采用人工方式对所述待标注数据作标注， 得到人工标注结果； 采用自动基准标注算法对所述待标注数据作自动标注， 得到基准标注结果； 采用自动相对标注算法对所述待标注数据作自动标注， 得到相对标注结果。 3.根据权利要求2所述的标注效率评估方法， 其特征在于， 将所述人工标注结果和自动 标注结果作为所述人工标注时长预测模型的输入， 包括： 将所述人工标注结果、 基准标注结果和相对标注结果， 分别对应转化为人工数值化编 码数据、 基准数值 化编码数据和相对数值 化编码数据； 将所述人工数值化编码数据、 基准数值化编码数据和相对数值化编码数据， 分别对应 转化为人工向量、 基准向量和相对向量； 将所述人工向量和基准向量以及所述人工向量和相对向量， 作为所述人工标注时长预 测模型的输入。 4.根据权利要求3所述的标注效率评估方法， 其特征在于， 所述基于自动标注结果的人 工标注预测时长包括基于基准标注结果的人工标注预测时长和基于相对标注结果的人工 标注预测时长； 通过所述人工标注时长预测模型， 得到基于自动标注结果的人工标注预测 时长， 包括： 通过人工标注时长预测模型， 将所述人工向量和基准向量， 合成第一单位向量； 以所述第一单位向量作为基于基准标注结果的人工标注预测时长； 通过人工标注时长预测模型， 将所述人工向量和相对向量， 合成第二单位向量； 以所述第二单位向量作为基于相对标注结果的人工标注预测时长 。 5.根据权利要求4所述的标注效率评估方法， 其特征在于， 根据 所述基于自动标注结果 的人工标注预测时长， 量 化标注效率， 包括： 将基于相对标注结果的人工标注预测时长除以基于基准标注结果的人工标注预测时 长， 得到预测时长商值。 6.根据权利要求5所述的标注效率评估方法， 其特征在于， 所述自动相对标注算法的数 量为两个以上， 对应地， 所述相对标注结果的数量为两个以上， 所述基于相对标注结果的人 工标注预测时长的数量为两个以上； 根据所述基于 自动标注结果的人工标注预测时长， 量 化标注效率， 包括： 将各个所述基于相对标注结果的人工标注预测时长分别除以基于基准标注结果的人 工标注预测时长， 得到各个所述预测时长商值； 根据各个所述预测时长商值的数值， 对各个所述预测时长商值进行排序。权　利　要　求　书 1/3 页 2 CN 114372614 A 27.根据权利要求4所述的标注效率评估方法， 其特征在于， 根据 所述基于自动标注结果 的人工标注预测时长， 量 化标注效率， 包括： 根据V0＝N0/T0， 得到基于基准标注结果的人工标注预测速度； 其中， V0为基于基准标 注结果的人工标注预测速度， N0为基准标注结果， T0为基于基准标注结果的人工标注预测 时长； 根据V1＝N1/T1， 得到基于相对标注结果的人工标注预测速度； 其中， V1为基于相对标 注结果的人工标注预测速度， N1为相对标注结果， T1为基于相 对标注结果的人工标注预测 时长。 8.根据权利要求7所述的标注效率评估方法， 其特征在于， 根据 所述基于自动标注结果 的人工标注预测时长， 量 化标注效率， 还 包括： 将基于相对标注结果的人工标注预测速度除以基于基准标注结果的人工标注预测速 度， 得到预测速度商值。 9.根据权利要求8所述的标注效率评估方法， 其特征在于， 所述自动相对标注算法的数 量为两个以上， 对应地， 所述相对标注结果的数量为两个以上， 所述基于相对标注结果的人 工标注预测速度的数量为两个以上； 根据所述基于 自动标注结果的人工标注预测时长， 量 化标注效率， 包括： 将各个所述基于相对标注结果的人工标注预测速度分别除以基于基准标注结果的人 工标注预测速度， 得到各个所述预测速度商值； 根据各个所述预测速度商值的数值， 对各个所述预测速度商值进行排序。 10.根据权利要求1 ‑9任意一项所述的标注效率评估方法， 其特征在于， 在所述构建人 工标注时长预测模型之后， 还 包括： 训练所述人工标注时长预测模型。 11.根据权利要求10所述的标注效率评估方法， 其特征在于， 训练所述人工标注时长预 测模型， 包括： 获取历史标注数据的历史自动标注结果、 在历史自动标注结果辅助下的历史人工标注 结果、 以及历史人工标注的实际时长； 以所述历史自动标注结果和历史人工标注结果作为人工标注时长预测模型的输入， 根 据人工标注时长预测模型的输出， 得到历史人工标注的预测时长； 根据所述历史人工标注的实际时长和历史人工标注的预测时长， 计算损失值； 根据所述损失值， 调整所述人工标注时长预测模型的模型参数。 12.一种标注效率评估 装置， 其特 征在于， 包括： 构建模块， 用于构建人工标注时长预测模型； 获取模块， 用于获取 标注数据的人工标注结果和自动标注结果； 第一处理模块， 用于将所述人工标注结果和自动标注结果作为所述人工标注时长预测 模型的输入， 通过所述人工标注 时长预测模型， 得到基于自动标注结果的人工标注预测时 长； 第二处理模块， 用于根据所述基于自动标注结果的人工标注预测时长， 量 化标注效率。 13.一种电子设备， 其特征在于， 包括存储器、 处理器以及存储在所述存储器中并能在 所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1‑11权　利　要　求　书 2/3 页 3 CN 114372614 A 3