(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111461243.1 (22)申请日 2021.12.0 3 (65)同一申请的已公布的文献号 申请公布号 CN 113971136 A (43)申请公布日 2022.01.25 (73)专利权人 杭银消费金融股份有限公司 地址 310005 浙江省杭州市下城区庆春路 38号1层101室、 8层801、 802、 803、 804 室、 11层1101、 1102室 (72)发明人 廖静然　 (74)专利代理 机构 浙江维创盈嘉专利代理有限 公司 33477 专利代理师 龚洋洋 (51)Int.Cl. G06F 11/36(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (56)对比文件 CN 113553596 A,2021.10.26 US 2011302124 A1,201 1.12.08 CN 107730038 A,2018.02.23 CN 110929196 A,2020.0 3.27 US 10114733 B1,2018.10.3 0 朱婧茜 等.Andro id手机应用界面布局的可 用性测试研究. 《包 装工程》 .2014,第3 5卷(第10 期),第61- 64页. 寻虫测试.前端页面的性能测试与调优. 《https://www.modb.pro/db/ 373638》 .2021,第 1-7页. 审查员 张雁琳 (54)发明名称 基于图像识别的页面测试方法及系统 (57)摘要 本发明是关于基于图像识别的页面测试方 法及系统， 结合若干用户操作行为轨迹之间的相 关性情况进行综合分析和考虑， 对若干第一显著 行为习惯描述进行拼接得到全局行为习惯描述， 通过该全局行为习惯描述对第一显著行为习惯 描述进行优化， 实现对第一显著行为习惯描述的 干扰削弱， 以尽可能保障所得的第二显著行为习 惯描述更加精确可靠地反映用户操作行为轨迹 的显著行为习惯描述， 进而提高显著行为习惯描 述的精度和可信度。 这样一来， 能够第二显著行 为习惯描述对页面主题分布信息对应的可视化 输出内容进行测试， 从而确保对 可视化输出内容 的准确测试， 保障页面测试是尽可能严格按照用 户操作习惯进行的。 权利要求书3页 说明书11页 附图1页 CN 113971136 B 2022.09.09 CN 113971136 B 1.一种基于图像识别的页面测试方法， 其特征在于， 应用于页面测试系统， 该方法至少 包括： 确定页面主题分布信 息以及所述页面主题分布信 息所绑定的用户操作 行为日志， 所述 页面主题分布信息中涵盖若干局部化视觉内容， 所述用户操作行为日志中涵盖若干用户操 作行为轨迹， 且每个用户操作行为轨迹中的页面互动行为事件基于一组局部化视觉内容激 活； 对所述页面主题分布信息以及所述用户操作行为日志进行挖掘以获得每个用户操作 行为轨迹的第一显著行为习惯描述， 所述第一显著行为习惯描述旨在表达所述用户操作行 为轨迹所绑定的局部化视觉内容的参考型行为习惯与所述用户操作行为轨迹之间的相关 性系数； 将所述每个用户操作行为轨迹的第一显著行为习惯描述与剩余用户操作行为轨迹的 第一显著行为习惯描述进 行拼接以获得所述每个用户操作行为轨迹的全局行为习惯描述； 分别通过所述每个用户操作行为轨迹的全局行为习惯描述， 对所述每个用户操作行为轨迹 的第一显著行为习惯描述进行优化以获得所述每个用户操作行为轨迹的第二显著行为习 惯描述； 根据所述第二显著行为习惯描述对所述页面主题分布信息对应的可视化输出内容 进行测试。 2.如权利要求1所述的方法， 其特征在于， 所述将所述每个用户操作 行为轨迹的第 一显 著行为习惯描述与剩余用户操作行为轨迹的第一显著行为习惯描述进行拼接以获得所述 每个用户操作行为轨 迹的全局行为习惯描述； 分别通过所述每个用户操作 行为轨迹的全局行为习惯描述， 对所述每个用户操作 行为 轨迹的第一显著行为习惯描述进行优化以获得所述每个用户操作行为轨迹的第二显著行 为习惯描述， 包括： 借助干扰削弱网络， 将所述每个用户操作 行为轨迹的第 一显著行为习惯描述与所述剩 余用户操作行为轨迹的第一显著行为习惯描述进行拼接以获得所述每个用户操作行为轨 迹的全局行为习惯描述； 分别通过所述每个用户操作 行为轨迹的全局行为习惯描述， 对所述每个用户操作 行为 轨迹的第一显著行为习惯描述进行优化以获得所述每个用户操作行为轨迹的第二显著行 为习惯描述。 3.如权利要求2所述的方法， 其特 征在于， 所述干扰削弱网络的调试步骤 包括： 确定范例调试集， 所述范例调试集包括范例页面主题分布信 息以及所述范例页面主题 分布信息所绑定的范例用户操作行为日志， 所述范例页面主题分布信息中涵盖若干范例局 部化视觉内容， 所述范例用户操作行为日志中涵盖若干范例用户操作行为轨迹， 且每个范 例用户操作行为轨 迹中的页面互动行为事 件是基于一组范例局部化视 觉内容激活； 确定每个范例用户操作行为轨迹的第 一范例行为习惯描述和第 二范例行为习惯描述， 所述第一范例行为习惯描述旨在表达所述范例用户操作行为轨迹所绑定的范例局部化视 觉内容的参考型行为习惯与所述范例用户操作行为轨迹之 间的相关性系数， 所述第二范例 行为习惯描述 为对所述第一范例行为习惯描述进行干扰削弱操作后得到的行为习惯描述； 借助所述干扰削弱网络， 分别对所述每个范例用户操作 行为轨迹的第 一范例行为习惯 描述进行优化以获得所述每个范例用户操作行为轨迹的候选显著行为习惯描述， 通过所述权　利　要　求　书 1/3 页 2 CN 113971136 B 2每个范例用户操作行为轨迹的所述候选显著行为习惯描述以及所述第二范例行为习惯描 述之间的比较结果， 调试 所述干扰削弱网络 。 4.如权利要求3所述的方法， 其特征在于， 所述范例调试集还包括所述范例用户操作 行 为日志的范例质量评价， 所述干扰削弱网络包括描述优化单元和描述拼接单元， 所述借助 所述干扰削弱网络， 分别对所述每个范例用户操作行为轨迹的第一范例行为习惯描述进 行 优化以获得所述每个范例用户操作行为轨迹的候选显著行为习惯描述， 通过所述每个范例 用户操作行为轨迹的所述候选显著行为习惯描述以及所述第二范例行为习惯描述之间的 比较结果， 调试 所述干扰削弱网络， 包括： 借助所述描述优化单元， 分别对所述每个范例用户操作 行为轨迹的第 一范例行为习惯 描述进行优化以获得 所述每个范例用户操作行为轨 迹的候选 显著行为习惯描述； 借助所述描述拼接单元， 对若干范例用户操作 行为轨迹的候选显著行为习惯描述进行 拼接以获得 所述范例用户操作行为日志的候选质量评价； 通过所述候选质量评价以及所述范例质量评价之间的比较结果， 调试所述描述优化单 元。 5.如权利要求3所述的方法， 其特征在于， 所述范例调试集还包括所述范例用户操作 行 为日志的范例质量评价， 所述借助所述干扰削弱网络， 分别对所述每个范例用户操作行为 轨迹的第一范例行为习惯描述进行优化以获得所述每个范例用户操作行为轨迹的候选显 著行为习惯描述之后， 所述方法还 包括： 借助描述拼接单元， 对所述若干范例局部化视觉 内容以及所述若干范例用户操作 行为 轨迹的候选显著行为习惯描述进行分析以获得所述范例用户操作行为日志的候选质量评 价； 通过所述候选质量评价以及所述范例质量评价之间的比较结果， 调试所述干扰削弱网 络。 6.如权利要求1或2所述的方法， 其特征在于， 所述对所述页面主题分布信息以及所述 用户操作行为日志进行挖掘以获得每个用户操作行为轨迹的第一显著行为习惯描述， 包 括： 对所述页面主题分布信息以及所述用户操作行为日志进 行挖掘以获得所述每个用户操 作行为轨迹的第一显著行为习惯描述以及所述每个局部化视觉内容的视觉内容表达， 所述 视觉内容表达旨在表达所述局部化视觉内容在所述页面主题分布信息中的分布特征和对 应的视觉内容关键词； 所述将所述每个用户操作行为轨迹的第一显著行为习惯描述与剩余用户操作行为轨 迹的第一显著行为习惯描述进行拼接以获得所述每个用户操作行为轨迹的全局行为习惯 描述， 包括： 将所述每个用户操作行为轨迹的第一显著行为习惯描述与所述剩余用户操作 行为轨迹的第一显著行为习惯描述进行拼接以获得所述每个用户操作行为轨迹的拼接显 著行为习惯描述； 将所述每个局部化视觉内容的视觉内容表达与剩余局部化视觉内容的视 觉内容表达进行拼接以获得 所述每个局部化视 觉内容的拼接 视觉内容表达 。 7.如权利要求1或2所述的方法， 其特征在于， 所述分别通过所述每个用户操作行为轨 迹的全局行为习惯描述， 对所述每个用户操作行为轨迹的第一显著行为习惯描述进行优化 以获得所述每个用户操作行为轨迹的第二显著行为习惯描述之后， 所述方法还包括： 对所 述若干局部化视觉内容以及所述若干用户操作行为轨迹的第二显著行为习惯描述进行分权　利　要　求　书 2/3 页 3 CN 113971136 B 3