(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111604167.5 (22)申请日 2021.12.24 (71)申请人 苏州科技大 学 地址 215000 江苏省苏州市高新区科锐路1 号 申请人 重庆工业大 数据创新中心有限公司 (72)发明人 李可　陈建平　傅启明　 (74)专利代理 机构 北京科家知识产权代理事务 所(普通合伙) 11427 代理人 宫建华 (51)Int.Cl. G06Q 10/04(2012.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种运用时序数据的深度强化学习建筑能 耗预测方法 (57)摘要 本发明公开了一种运用时序数据的深度强 化学习建筑能耗预测方法， 本发 明利用深度森 林 算法将样 本按照一定的标签范围进行分类， 进而 划分深度强化学习模块所使用的原始动作空间， 在找寻动作空间内不同类别相同次序动作的数 学联系后， 将其所依赖的神经网络多个神经元用 一个神经元进行替代， 实现计算时间及计算资源 的缩减； 本发明与现有能耗预测方法相比， 其显 著优点是： 1)可以对异常能耗数据进行检查和替 换2)方法输入仅需要历史能耗数据， 而无需其他 建筑内部结构信息或者人员分布信息3)方法训 练的计算时间及计算资源 小于其他方法。 权利要求书2页 说明书6页 附图1页 CN 114298397 A 2022.04.08 CN 114298397 A 1.一种运用时序数据的深度强化学习建筑能耗预测方法， 其特 征在于： 包括， A、 获取历史能耗数据， 将其 根据日期范围划分为训练集和 测试集； B、 构建深度森林模块和深度强化学习模块； C、 采用LOF算法检测训练集中的历史能耗数据中的异常值， 并对该异常值进行替换， 同 时对训练集范围内的能耗数据进行重构， 组成新的样本及标签， 并将新的样本及标签归一 化处理后传递给深度森林模块和深度强化学习模块； D、 深度森林模块利用归一化后的样本作为输入， 对分类器进行训练， 分类器训练完成 后将归一化样本作为原始特征向量重新传 入分类器， 并通过多粒度扫描获取变换后的特征 向量， 同时， 深度森林中的级联森林结构将 变换后的特征向量作为输入， 输出样本对应的各 个类别的概 率； E、 将深度森林模块输出的各个类别的概率和步骤C 中归一化后的新构建样本共同组成 Q神经网络的输入， 从而计算所有动作的Q值， 按照同一方法算出目标Q网络下所有动作的目 标Q值， 并利用两者的TD误差更新 Q网络参数对 模型进行训练。 2.如权利要求1所述的一种运用时序数据的深度强化学习建筑能耗预测方法， 其特征 在于： 所述对异常值进行替换的具体算法为： 条件1.d‑i≥p， d+j＞q， W(d ‑i)＝W(d)； 条件2.d‑i≥p， d+j≤q， W(d ‑i)＝W(d)＝W(d+j)； 条件3.d‑i＜p， d+j≤q， W(d)＝ W(d+j)； 其中， AE与NE分别表示异常能耗数据与正常能耗数据， p和q表示训练集数据日期范围 的下限与上限。 (d， t)含义为d天t时刻， W(d)是判断函数， 用来判断日期d是工作日还 是节假 日， i为指定天数的前i天， j为后j天。 d ‑i， d+j的含义 就是从d天开始的第前i天， 第后j天。 3.如权利要求1所述的一种运用时序数据的深度强化学习建筑能耗预测方法， 其特征 在于： 所述样本归一 化的具体算法为： 其中 和 分别表示第i样本j特征下的原始数据和标准化后的数据， μ(j)和σ(j)分 别表示第j个特 征的均值和标准差 。 4.如权利要求3所述的一种运用时序数据的深度强化学习建筑能耗预测方法， 其特征 在于： 所述深度森林模块为将动作空间划分为N类， 寻找不同类别相同次序动作间的关系， 不同类别相同次序动作间的关系如下表示 为： [x， z]为能耗范围， 步长为g。 5.如权利要4所述的一种运用时序数据的深度强化学习建筑能耗预测方法， 其特征在权　利　要　求　书 1/2 页 2 CN 114298397 A 2于： 所述深度强化学习模块在t 时刻的状态由深度森林模块的输出概率值及归一化的样本 共同组成， 作为Q网络的输入。 同理， t+1时刻的状态也由同种方式得出， 传入目标Q网络。 而 后利用两者的TD误差更新神经网络参数θ， 具体表述 为： 其中， (s， a， r， s ′)是从经验池获取的四元组， a ′是t+1时刻agent所执行的动作， 和 θi 分别表示目标Q网络和Q网络的参 数。 r则是在t时刻状态st下执行动作at所获取的奖赏， 可表 示为： rt+1＝‑|Et‑at| 其中， Et表示t时刻的真实能耗 值。权　利　要　求　书 2/2 页 3 CN 114298397 A 3