(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111596004.7 (22)申请日 2021.12.24 (71)申请人 重庆大学 地址 400030 重庆市沙坪坝区沙正 街174号 (72)发明人 王佳萌　陈乙雄　 (74)专利代理 机构 重庆天成卓越专利代理事务 所(普通合伙) 50240 代理人 王宏松 (51)Int.Cl. G06F 16/9535(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/04(2012.01) (54)发明名称 基于时间感知兴趣演化的点击率预测方法 (57)摘要 本发明提出了一种基于时间感知兴趣演化 的点击率预测方法， 包括： S1， 采集用户、 目标项 目、 用户历史行为的用户数据信息； S2， 根据所述 用户数据信息预测所述用户在所述目标项目的 点击概率； S3， 将点击概率大于或者等于预设点 击率阈值所对应的目标项目推荐给用户。 本发明 使用了时间感知注意力 网络与ATT ‑GRU， 捕捉历 史行为序列在不同时间维度(年份、 月份、 日份) 的用户兴趣表 示， 通过捕捉每个维度的时间因素 对注意力的影 响， 能够对于时间跨度较长期的用 户的点击率得到更加精确的预估结果。 权利要求书4页 说明书11页 附图1页 CN 114329193 A 2022.04.12 CN 114329193 A 1.一种基于时间感知兴趣演化的点击率预测方法， 其特 征在于， 包括： S1， 采集用户、 目标项目、 用户历史行为的用户数据信息； S2， 根据所述用户数据信息预测所述用户在所述目标项目的点击概 率； S3， 将点击概 率大于或者 等于预设点击率阈值所对应的目标项目推荐给用户。 2.根据权利要求1所述的一种基于时间感知 兴趣演化的点击率预测方法， 其特征在于， 所述S2包括： S2‑1， 通过预测模型的嵌入层将用户、 目标项目和用户历史行为中的稀疏特征转化为 低维密集向量， 得到用户、 目标项目和用户历史行为的嵌入向量； S2‑2， 捕获用户的兴趣表示； S2‑3， 将目标项目、 用户的嵌入向量和用户的兴趣表示连接起 来， 得到连接的向量； S2‑4， 将连接的向量送入多层感知器MLP； S2‑5， 使用softmax函数 预测用户点击目标项目的概 率。 3.根据权利要求1所述的一种基于时间感知 兴趣演化的点击率预测方法， 其特征在于， 所述S2‑2包括： S2‑2‑1， 通过所述预测模型的兴趣提取层基于用户历史行为的嵌入向量提取用户历史 行为的兴趣表示； S2‑2‑2， 通过所述预测模型的兴趣发展层基于目标项目的嵌入向量提取目标项目的兴 趣表示。 4.根据权利要求3所述的一种基于时间感知 兴趣演化的点击率预测方法， 其特征在于， 所述兴趣提取层包括： 采用GRU模型来模拟行为之间的依赖关系， 其中GRU的输入是按发生时间排序的行为； 所述GRU模型包括： ut＝σ(Wuit+Uuht‑1+bu) rt＝σ(Writ+Urht‑1+br) 其中ut代表GRU的更新门； σ(·)为sigmo id激活函数； it是GRU的输入； ht‑1表示GRU第t ‑1个隐藏层的状态； rt代表重置门； 代表候选集； ht表示GRU第t个隐藏层的状态； tanh(·)为双曲正切函数； ο 为元素乘积符号； Wu,Wr,Wh均为属于NH×dmodel维实数域的参数； Uu,Ur,Uh均为属于NH×NH维实数域的参数；权　利　要　求　书 1/4 页 2 CN 114329193 A 2bu,br,bh均为属于NH×NH维实数域的参数； NH为隐藏层的尺寸。 5.根据权利要求3所述的一种基于时间感知 兴趣演化的点击率预测方法， 其特征在于， 所述兴趣发展层包括： 采用注意力机制和AT T‑GRU模型相结合的模型； 所述注意力机制包括时间感知注意力网络， 所述时间感知注意力网络包括： 注意力分 数pa＝a(ba,et)以及三个时间的注意力分数py， pm， pd； 当前年份与用户历史行为发生的年份进行交 互， 得到年份的注意力分数为： py＝a(yt,ynow) 其中a(·,·)为注意力函数； yt表示用户历史行为发生的年份； ynow表示当前年份的嵌入向量； 当前年份与用户历史行为发生的月份进行交 互， 得到月份的注意力分数为： pm＝a(mt,mnow) 其中mt表示用户历史行为发生的月份； mnow表示当前月份的嵌入向量； 当前日份与用户历史行为发生的日份进行交 互， 得到日份的注意力分数为： pd＝a(dt,dnow) 其中dt表示用户历史行为发生的日份； dnow表示当前日份的嵌入向量； 最终输出非线性组合a ′： a′＝W0pa+W1py+W2pm+W3pd+W4pypmpd+W5papypmpd 其中W0、 W1、 W2、 W3、 W4、 W5为向量参数。 6.根据权利要求5所述的一种基于时间感知 兴趣演化的点击率预测方法， 其特征在于， 所述ATT‑GRU模型包括： 其中u′t代表ATT‑GRU的包含注意力的更新门； σ(·)为sigmo id激活函数； i′t是ATT‑GRU的输入； h′t‑1表示ATT‑GRU第t‑1个隐藏层的状态； wt指时间感知注意力网络得到的注意力分数； r′t代表ATT‑GRU的包含注意力的重 置门；权　利　要　求　书 2/4 页 3 CN 114329193 A 3