(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111563867.4 (22)申请日 2021.12.20 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 申请人 浙江省海 洋监测预报中心 (72)发明人 贺治国　马赫　朱业　卢美　季余　 韩东睿　 (74)专利代理 机构 杭州奥创知识产权代理有限 公司 33272 代理人 王佳健 (51)Int.Cl. G06Q 10/04(2012.01) G06N 3/12(2006.01) G06F 17/16(2006.01)G06F 16/9537(2019.01) G01W 1/14(2006.01) G01W 1/10(2006.01) (54)发明名称 基于Transformer注意力机制的日降水量预 测方法 (57)摘要 本发明公开了一种基于Tran sformer注意力 机制的日降水量预测方法。 本发 明首先构造输入 序列； 其次通过Word2vec算法获取输入序列的每 一日降水量的嵌入向量， 通过向量转化公式计算 出每一日降水量时间排列位置的嵌入向量， 由此 得到向量表 示矩阵。 然后将向量表 示矩阵传入编 码器中， 输 出编码信息矩阵C， 最后将编码器输出 的编码信息矩阵C传递到解码器中得到当前日降 水量的预测值。 本发明采用了transformer注意 力机制模型可以较好的进行并行训练， 另外本发 明采用了多头注意力机制结构， 可以捕获日降水 量数据序列各个数据之间多种维度上的相关注 意力分数。 权利要求书2页 说明书3页 附图1页 CN 114239971 A 2022.03.25 CN 114239971 A 1.基于Transformer 注意力机制的日降水量预测方法， 其特 征在于以下步骤： S1、 构造输入序列： 将某地以往年份的日降水量数据做成输入序列， 缺失数据利用以往 年份相同日期的降水量数据的3年滑动平均值补齐， 按照时间先后顺序排列成时间序列数 据作为模型的输入； S2、 通过Word2vec算法获取输入序列的每一日降水量的嵌入向量， 通过向量转化公式 计算出每一日降水量时间排列位置的嵌入向量， 将该日降水量的嵌入向量和该日降水量时 间排列位置的嵌入向量相加得到输入序列的向量表示矩阵Xn×d， 矩阵的每一行是每一日降 水量的表示； S3、 将得到的序列向量表示矩阵传入编码器 中， 编码器由六个编码单元组成， 经过六个 编码单元后再通过线性层和Softmax逻辑回归层得到序列的所有降水量数据的编码信息矩 阵C， 每个编码器单 元输出的矩阵维度与编码器单 元的输入矩阵维度一 致； S4、 将编码器输出的编码信息矩阵C传递到解码器中， 解码器也包含六个解码单元， 经 过六个解码器单 元后再通过线性层和Softmax逻辑回归层得到当前日降水量的预测值。 2.根据权利要求1所述的基于Transformer注意力机制的日降水量预测方法， 其特征在 于： 所述时间排列位置的嵌入向量PE转 化公式为： 其中position表示该日降水量在序列中的位置， d表示PE的维度， 2i表示偶数的维度， 2i+1表示奇数的维度。 3.根据权利要求1所述的基于Transformer注意力机制的日降水量预测方法， 其特征在 于： 所述编码器单元包括一个多头注意力 机制， 一个前馈神经网络和两个残差连接及归一 化层， 其中多头注意力机制是由多个自注意力机制组成。 4.根据权利要求3所述的基于Transformer注意力机制的日降水量预测方法， 其特征在 于： 所述编码信息矩阵C的计算过程如下： 当编码器收到向量表示矩阵Xn×d后， 多头注意力机制中的每一个自注意力机制随机产 生三个线性变阵矩阵， 分别与向量表示矩阵Xn×d相乘得到三个新向量 Q、 K和V； 通过Softmax逻辑回归层计算每一个日降水量对于其他日降水量的注意力系数矩阵， 其中dk是向量维度即矩阵的列数； 得到的注意力系数矩阵再与V相乘， 得到当前自注意力机制最终的输出； 多头注意力机制将各个自注意力机制得到的矩阵拼接在一起， 通过线性变换层， 得到 最后多头注意力机制的最终输出； 残差连接及归一化层使得网络加快收敛， 最后前馈神经 网络使用两层全连接层得到最后输出编码信息矩阵C 。 5.根据权利要求1所述的基于Transformer注意力机制的日降水量预测方法， 其特征在权　利　要　求　书 1/2 页 2 CN 114239971 A 2于： 所述解码器单元包括两个多头注意力机制， 一个前馈神经网络层和 三个残差连接及归 一化层， 其中第一个多头注意力机制采用了 Mask掩盖操作。 6.根据权利要求5所述的基于Transformer注意力机制的日降水量预测方法， 其特征在 于： 所述降水量的预测值计算过程如下： 当来自编码器的编码信 息传来时， 解码器的第 一个多头注意力 机制产生降水量编码信 息矩阵和同等维度的Mask矩阵； 然后降水量编码信息矩阵与多头注意力机制的每一个自注意力机制随机产生三个线 性变阵矩阵相乘得到Q、 K和V； 通过Softmax逻辑回归层计算每一个日降水量数据对于其他日降水量的注意力系数矩 阵， 得到注意力系数矩阵后与Mask矩阵相乘以便遮挡住该日之后的数据； 再与V相乘， 将各个自注意机制得到的输出结果拼接， 最终通过Softmax逻辑回归层输 出最后的预测值。 7.根据权利要求1所述的基于Transformer注意力机制的日降水量预测方法， 其特征在 于： 还包括计算得到的降水量预测 值与实际值的均方根误差， 利用遗传算法以均方根误差 最小为优化目标， 确定编码 器及解码 器中的注 意力机制个数， 完成基于Transformer注 意力 机制的日降水量预测从输入序列到 输出预测值的训练过程。权　利　要　求　书 2/2 页 3 CN 114239971 A 3