(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111595702.5 (22)申请日 2021.12.23 (71)申请人 中国电信股份有限公司 地址 100000 北京市西城区金融街31号 (72)发明人 付薇薇　柏华　张黎　王岩　张寅　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 代理人 张秀英 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 50/30(2012.01) G06N 3/08(2006.01) (54)发明名称 时间序列预测处理方法、 装置、 存储介质及 电子装置 (57)摘要 本申请实施例提供了一种时间序列预测处 理方法、 装置、 存储介质及电子装置， 该方法包 括： 采集预设时间段内全部队列的历史数据， 并 根据该历史数据提取多元因子的动态时间序列 特征与时间空间静态特征； 将该多元因子的动态 时间序列特征与时间空间静态特征组合成预设 维度的特征向量； 采用滑窗的方式以预设时间窗 大小提取该特征向量对应的标签数据； 根据该特 征向量与对应的标签数据对构建的基于注意力 机制的神经网络模型进行训练， 得到用于确定队 列的负荷预测结果的神经网络模 型， 可以解决相 关技术中多步时序预测时算法参数量较多、 模型 复杂， 导致训练困难， 且未考虑多元时序指标在 模型中特 征表达和时序依赖的问题。 权利要求书2页 说明书12页 附图4页 CN 114330863 A 2022.04.12 CN 114330863 A 1.一种时间序列预测处 理方法， 其特 征在于， 包括： 采集预设时间段内全部队列的历史数据， 并根据 所述历史数据提取多元因子的动态时 间序列特 征与时间空间静态特 征； 将所述多元因子的动态时间序列特征与时间空间静态特征组合成预设维度的特征向 量； 采用滑窗的方式以预设时间窗大小提取 所述特征向量对应的标签数据； 根据所述特征向量与对应的标签数据对构建的基于注意力机制的神经网络模型进行 训练， 得到训练好的神经网络模型， 其中， 所述训练好的神经网络模 型用于确定队列的负荷 预测结果。 2.根据权利要求1所述的方法， 其特征在于， 在根据 所述特征向量与对应的标签数据对 构建的基于注意力机制的神经网络模型进行训练， 得到所述训练好的神经网络模型之前， 所述方法还 包括： 构建所述基于注意力机制的神经网络模型， 其中， 所述基于注意力机制的神经网络模 型的输入层 包括与所述多 元因子数量相同的神经元， 输入每个所述神经元的特征向量的维 度与所述预设时间窗大小相同； 所述输入层与全连接层连接， 所述全连接层与预设数量的 注意力机制attention模块， 所述预设数量的attention模块通过融合层Reshape_Layer与 拉平Flatten_Layer连接， 所述Flatten_Layer与全连接输出层， 所述全连接输出层中设置 的神经元数量与所述预设时间窗大小相同。 3.根据权利要求2所述的方法， 其特征在于， 根据 所述特征向量与对应的标签数据对构 建的基于注意力机制的神经网络模型进行训练， 得到所述训练好的神经网络模型包括： 重复执行以下步骤， 以对所述基于注意力机制的神经网络模型进行训练， 直到输出结 果与所述标签数据之间的损失函数满足预设条件： 随机初始化所述基于注意力 机制的神经网络模型的参数和权重， 将所述特征向量与对 应的标签数据输入所述输入层； 通过全连接输出到所述attention模块中， 将所述attention模块的输出向量通过融合 层进行融合， 融合之后进行拉平Flat ten操作， 得到一维向量； 将所述一维向量通过全连接输出层输出， 得到输出结果， 回传梯度， 并更新所述基于注 意力机制的神经网络模型的参数和权 重。 4.根据权利要求3所述的方法， 其特征在于， 将所述特征向量与对应的标签数据输入所 述输入层包括： 对所述输入层包括的神经元b进行分步训练， 将b在1至N中循环， N为所述多元因子数 量， 所述神经 元b训练时的权 重设置为1， 其 他神经元的权重设置为0 。 5.根据权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 确定所述输入层包括的神经 元对应的损失函数的值与对应的权 重的加权平均值； 确定所述加权平均值 为所述基于注意力机制的神经网络模型的损失函数的值； 在所述基于注意力 机制的神经网络模型的损失函数的值小于预设阈值的情况下， 确定 所述输出 结果与所述标签数据之间的损失函数满足所述预设条件。 6.根据权利要求1所述的方法， 其特征在于， 在根据 所述特征向量与对应的标签数据对 所述基于注意力机制的神经网络模型进行训练， 得到所述训练好的神经网络模型之后， 所权　利　要　求　书 1/2 页 2 CN 114330863 A 2述方法还 包括： 获取待预测目标队列的动态时间序列特 征与时间空间静态特 征； 将所述待预测目标队列的动态时间序列特征与时间空间静态特征组合成所述预设维 度的目标 特征向量； 将所述目标特征向量输入所述训练好的神经网络模型中， 得到所述训练好的神经网络 模型输出的所述待预测目标队列的负荷预测结果。 7.根据权利要求1至 6中任一项所述的方法， 其特 征在于， 所述时间序列特征至少包括YARN系 统中的一二三四级队列内存占用量、 APP任务提交 量、 APP任务堵塞量、 所有队列分配的最大内存、 所有队列分配的最小内存、 所有队列能够提 交的最大内存； 所述时间空间静态特征至少包括： 时间， 是否节假日、 是否工作日、 是否月初、 是否月 末、 周几； 空间层面特征， 其中， 所述空间层面特征包括当前队列在任务提交中的执行优先 级、 队列等级、 配置的最大内存、 最小内存、 队列所属租户编码。 8.一种时间序列预测处 理装置， 其特 征在于， 包括： 采集模块， 用于采集预设时间段内全部队列的历史数据， 并根据所述历史数据提取多 元因子的动态时间序列特 征与时间空间静态特 征； 第一组合模块， 用于将所述多元因子的动态时间序列 特征与时间空间静态特征组合成 预设维度的特 征向量； 提取模块， 用于采用滑窗的方式以预设时间窗大小提取所述特征向量对应的标签数 据； 训练模块， 用于根据 所述特征向量与对应的标签数据对构建的基于注意力 机制的神经 网络模型进 行训练， 得到训练好的神经网络模型， 其中， 所述训练好的神经网络模型用于确 定队列的负荷预测结果。 9.一种计算机可读的存储介质， 其特征在于， 所述存储介质中存储有计算机程序， 其 中， 所述计算机程序被设置为 运行时执 行所述权利要求1至7任一项中所述的方法。 10.一种电子装置， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为运行所述计算机程序以执行所述权利要求 1至7任一项中所述的方 法。权　利　要　求　书 2/2 页 3 CN 114330863 A 3