(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111577980.8 (22)申请日 2021.12.2 2 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 李英顺　丁子尧　全福祥　孙希明　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 代理人 苗青　王海波 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/04(2012.01) G06Q 10/06(2012.01)G06F 119/02(2020.01) (54)发明名称 基于全注意力深度网络和动态集成学习的 航空发动机剩余寿 命预测方法 (57)摘要 本发明提供一种基于全注意力深度网络和 动态集成学习的航空发动机剩余寿命 预测方法。 首先， 计算训练集数据和测试集数据的剩余寿命 RUL值， 并对对数据子集FD001进行降维， 并构建 仿真数据集。 其次， 采用FCM算法聚类仿真数据集 的类中心及对应样本。 再次， 构建Tran sformer网 络模块作为基学习器， 并确定基学习器权重及加 权集成输 出。 最后。 对测试集数据预处理， 随机抽 取部分数据采用动态集成预测模型给出剩余寿 命值。 本发明对发动机剩余寿命预测， 不仅可 以 不受距离影 响的学习数据间依赖关系， 还可显著 提升运行速度， 消除冗余属性的影响， 提高预测 的准确率。 本发明基于寿命数据， 与发动机实际 型号无关， 通过训练不同的数据集即可将模型迁 移到不同型号发动机上使用， 具有 普适性。 权利要求书3页 说明书8页 附图5页 CN 114297918 A 2022.04.08 CN 114297918 A 1.一种基于全注意力深度网络和动态集成学习的航空发动机剩余寿命预测方法， 其特 征在于， 包括以下步骤： S1.计算训练集数据和 测试集数据的剩余寿命RUL 值， 包括以下步骤： S1.1航空发动机数据集中所包含的四个数据子集FD001 ‑FD004特征大致相同， 包含21 维的传感器数据； 选取第一组数据子集， 即数据子集FD001的训练数据Train_FD001、 测试数 据Test_FD0 01和对应剩余寿命数据RUL_FD0 01进行训练与预测； S1.2计算训练数据的RUL 值： 根据S1.1中选取的训练数据， 取每台发动机健康运行的最大时间记为Ttrain_max， 利用 Ttrain_max减去当前发动机运行时间Ttrain， 得到每台发动机在每一时刻对应的剩余寿命值 RULtrain； S1.3计算测试 数据的RUL 值： 由于Test_ FD001包含的是 发动机从开始到故障之前某一时刻Ttest的数据， RU L_FD001为 在Ttest时刻时发动机的剩余寿命值， 记为RULt， 将Ttest及RULt相加得到真实的发动机健康运 行时间Ttest_max； 再利用Ttest_max减去当前发动机运行时间Ttest， 得到测试数据中每台发动机 在每一时刻对应的剩余寿命值RULtest； S2.对数据子集FD0 01进行降维， 并构建仿真数据集， 包括以下步骤： S2.1利用高相关滤波及低方差滤波对数据子集FD001进行降维， 传感器维度由21维降 低到12维； S2.2按照时间步大小划分数据子集FD001的数据， 落在时间窗口内的数据切分出来作 为一个样本， 完成仿真数据集的构建； S3.采用模糊C均值聚类算法聚类仿真数据集的类中心及对应样本， 包括以下步骤： 设X＝{X1， X2，…， XN}为数量为N的样本集合， 其中Xi＝[x1， x2，…， xn]代表样本Xi的n元数 据矩阵， 将样本集合X划分为c个子集S＝{S1， S2，…， Sc}； 用A＝{ ∝1，∝2，…，∝c}表示这c个 子集的聚类中心， 其中 ∝i＝[a1， a2，…， an]代表聚类中心 ∝i的n元数据矩阵， A＝{ ∝1， ∝2，…，∝c}表示c个子集的聚类中心； dij为样本Xj与聚类中心 ∝i的距离； S3.1利用FCM算法对S2中构建的仿真数据 集进行聚类， 引入马氏距离替代传统FCM算法 中的欧式距离进行聚类； 拟合传感器数据曲线斜率并归一化处理， 并将其作为各传感器重要程度 添加到马氏距 离计算中， 得到改进的加权马氏距离公式为： 其中， W＝[w1， w2，…， w12]为12维传感器权重矩阵； ∑wp＝1， p∈{1， 2， ...， 12}； ∑为协方 差矩阵， 实 践应用中用样本协方差矩阵代替计算； S3.2不断更新隶属度矩阵U与聚类中心A， 直到目标函数 与迭代次数达到条件， 最 终得到训练数据样本的类中心 ∝i并保留所划分样本集 合S； 所述FCM算法的目标函数 为： 权　利　要　求　书 1/3 页 2 CN 114297918 A 2其中， uij为元素xj对Si的隶属度， uij满足约束条件： uij≥0(1≤i≤ c， 1≤j≤n) 所述隶属度矩阵为U＝{uij}为c×m矩阵； S4.构建Transformer网络模块作为基学习器， 包括以下步骤： S4.1将S2中构建的仿真数据集作为Transfor mer网络模块的输入， Trans former网络模 块由编码器和解码器两 部分构成； 所述编码器结构： 由6层相同层堆叠而成， 每层有两个子层， 分别包含多头自注意力机 制和前馈神经网络， 编码 器将航空发动机特征序列编码成 中间向量， 捕捉特征内部相关性， 提取特征序列的重要信息； 所述解码器结构： 由6层相同层堆叠而成， 除了包含编码器两个子层外， 解码器每一层 中还加入遮挡多头 自注意力机制 子层； 解码器的输入为剩余寿命数据， 将寿命数据输入到 遮挡多头自注意力机制模块中， 再将学习到的寿命数据信息与编 码器中得到的中间向量共 同输入多头注意力机制中， 通过综合学习特 征序列与寿命数据间的依赖关系； S4.2对编码器和解码器的输入序列进行位置编码操作， 将位置信息添加到输入序列 中； S4.3为了解决航空发动机输入特征序列与寿命数据维度不一致的问题， 分别在解码器 输入端、 输出端添加全连接网络层对寿命数据进行升维、 降维操作， 得到当前寿命预测值； S4.4基学习器训练： 将类中心 ∝i对应的样本集合Si输入到S3搭建 的Transformer网络 模块中进行训练， 得到类中心 ∝i对应的基学习器， 最终得到训练好的基学习器集； S4.5保存训练好的基学习器模型并在验证集上进行测试， 根据验证集评价指标调整模 型超参数， 评价指标采用RMSE、 Score两种指标， 保存评价指标， 得到不同类中心对应的、 最 优的基学习器模型； S5.确定基学习器权 重及加权集成输出， 包括以下步骤： S5.1计算待测 样本与各类 中心距离并以此动态地分配基学习器权重： 将待测样本输入 到S4.7中训练好的基学习器集中， 得到预测结果集合{pre1， pre2，…， prec}， 设待测样本与 各个类中心的距离集合为Dis＝{dis1， dis2，…， disc}， 此处采用欧氏距离， 则计算基学习器 的权重w_li公式为： S5.2加权集成输出： 将基学习器预测结果pr ei及对应权重w_li进行加权求和， 得到最终 的动态集成预测模型， 其对该待测样本最终预测寿命值RUL： RUL＝∑w_li×prei， i∈{1， 2， . ..， c} S6.在测试 数据上进行 预测 S6.1按S1、 S2中步骤对测试集数据预处理， 并按动态集成预测模型的输入要求调整数 据维度； S6.2在测试集数据中随机抽取部分数据， 采用动态集成预测模型 给出剩余寿命值。权　利　要　求　书 2/3 页 3 CN 114297918 A 3