(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111570201.1 (22)申请日 2021.12.21 (71)申请人 湖北工业大 学 地址 430068 湖北省武汉市洪山区南李路 28号 (72)发明人 裴尧尧　罗振源　肖衡林　陈智　 李文涛　周鑫隆　黎伦鹏　耿志远　 陆健　鲍天　李博洋　海迪　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 代理人 杨宏伟 (51)Int.Cl. G06Q 10/04(2012.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合图像和气象环境数据的道路结冰 识别方法 (57)摘要 本发明公开了一种融合图像和气象环境数 据的道路结冰识别方法， 利用现场勘探、 远程终 端监测系统等多渠道对当地路面的实时状态进 行监测后， 得到图像数据和气象环境数据， 对 图 像数据和气象环境数据进行特征提取， 得到图像 数据样本和气象环境数据样本， 再将两种数据相 融合， 并构造一种用于 路面结冰积 雪识别的全新 机器学习模型——卷积 ‑集成学习模型， 通过选 择恰当的机器学习方法对该模型进行不断训练 与调试， 最终建立可用于冬季路面结冰识别的机 器学习模型。 本发明能提高道路结冰识别的效率 与准确性， 应用简便， 模 型容易改进， 可以广泛应 用于道路、 桥梁、 机场结冰预测。 权利要求书2页 说明书6页 附图4页 CN 114358401 A 2022.04.15 CN 114358401 A 1.一种融合图像和气象环境数据的道路结冰识别方法， 其特 征在于， 包括如下步骤： 步骤S1： 路面环境特征数据的分类采集、 特征的抽取， 首先对当地路面环境特征数据进 行分类收集， 即分为两类 收集， 第一类为图像数据， 第二类为气象环境数据， 对图像数据和 气象环境数据进行整理得到多地域路面结冰积雪和未结冰积雪条件下的路面环境特征数 据， 对图像数据提取的为图像数据样本， 对气象环境数据提取的为气象环境数据样本； 步骤S2： 确定标签， 形成样本集， 对图像数据和气象环境数据进行分析， 确定与结冰状 态有关的路面状态作为标签， 以环境特征数据作为输入数据集， 分别得到有标签的图像数 据样本集和气象环境数据样本集； 步骤S3： 多种类型数据的融合， 将收集的图像数据样本集和气象环境数据样本集混合 作为融合样本， 结合 步骤S2中的标签， 形成有标签的融合样本集； 步骤S4： 建立并训练调试学习模型， 对融合样本进行训练并调试， 减少误差， 最终建立 卷积‑集成学习模型， 并将模型应用于冬季路面结冰积雪识别系统， 可以实现是否结冰的预 测。 2.根据权利要求1所述的道路结冰识别方法， 其特征在于， 所述图像数据为对现场勘探 及远程监测系统等多 渠道的将所拍摄的图像或录制的视频。 3.根据权利要求2所述的道路结冰识别方法， 其特征在于， 所述气象环境数据通过气象 环境传感器监测得到， 包括温度、 湿度、 空气质量、 风速和风向。 4.根据权利要求3所述的道路结冰识别方法， 其特征在于： 步骤S2中， 标签通过人为分 析图像数据和气象环境数据得到， 标签包括干燥、 积水、 积雪以及结冰状态。 5.根据权利要求4所述的道路结冰识别方法， 其特征在于： 步骤S1中， 所述图像数据为 特征不易提取数据， 针对图像数据， 首先通过卷积预 处理， 针对多个卷积层L， 第l层的第n个 特征图为x(l,n)， 利用表达式进行卷积运算， 即 其中M为输入特征图的总数， N为卷积后得到的特征图数， ωl,n为第l层的第n卷积 核， 激活函数选用ReLU， 即f(x)＝max(0,x)； 接着再结合交叉验证、 超参数分析技术手段， 归 纳出路面结冰与不结冰条件下的图像样本具有的典型特征作为环境特征数据， 建立图像数 据样本集。 6.根据权利要求5所述的道路结冰识别方法， 其特征在于： 步骤S1中， 对于所述气象环 境数据， 首先利用数据集成、 数据变换、 数据规约、 数据 清洗技术对数据进 行预处理， 接着将 处理完成后的数据转换为能用于 机器学习的数字特 征， 即特征值化， 并建立数据样本集。 7.根据权利要求5所述的道路结冰识别方法， 其特征在于： 步骤S3中， 融合具体操作为： 将将具有相同标签的图像数据样本和气象环境数据样本混合作为融合样本样。 8.根据权利要求7所述的道路结冰识别方法， 其特征在于： 步骤S4中， 卷积 ‑集成学习模 型以人工神经网络为基础， 修改输入层为图像数据和气象数据， 输出层为路面状态， 建立卷 积‑集成学习模型； 输入隐藏层选 择的公式是 其中Vih表示权重， h表示第h个 隐藏神经元的输入， 从隐藏层输出到输出层选择的公式是 Whj同样指权重， j表示第j个神经元的输入； 将融合样本集的70％作为训练集， 30％作为验证集， 即利用70％ 的融合样本数据进行训练并建立的卷积 ‑集成学习模型， 利用剩余30％的融合样本数据对权　利　要　求　书 1/2 页 2 CN 114358401 A 2模型的参数进行优化以及对 模型的可 行性进行一个初步的评估。 9.根据权利要求8所述的道路结冰识别方法， 其特征在于： 步骤S1中， 所述远程监测系 统包括摄像头， 环境温湿度传感器， 路面 温湿度传感器， 空气质量传感器， 数据与储存平台； 远程监测浏览道路面的特征， 获取道路面的温湿度， 道路周围环境温湿度， 空气质量数等， 并将其储 存于数据库中。权　利　要　求　书 2/2 页 3 CN 114358401 A 3