(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111405979.7 (22)申请日 2021.11.24 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 李鑫超　章枝宪　周旭华　杨诗友　 尹虹舒　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 代理人 孙宝海　袁礼君 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 基于纵向联邦学习的模型训练方法、 系统、 设备及介质 (57)摘要 本发明提供了一种基于纵向联邦学习的模 型训练方法、 系统、 设备及介质， 所述方法包括步 骤： 当前参与方获取自身对应的待训练模型和训 练样本； 所述当前参与方基于所述待训练模型， 计算得到 所述训练样本对应的第一预测值， 并将 所述第一预测值发送至异步辅助器； 所述异步辅 助器基于 所述预设损失函数、 预设标签值和所述 第二预测值， 计算得到当前参与方基于所述训练 样本的真实值； 所述当前参与方基于所述第一预 测值和所述真实值， 计算得到梯度； 所述当前参 与方基于 所述梯度， 对所述待训练模 型的参数进 行更新， 更新后的模型作为下一轮迭代的待训练 模型或者当前参与方的最终模型； 本申请实现了 上述模型的异步训练， 提高了模型训练效率。 权利要求书2页 说明书10页 附图8页 CN 114118442 A 2022.03.01 CN 114118442 A 1.一种基于纵向联邦学习的模型训练方法， 其特征在于， 所述方法由多个参与方、 异步 辅助器和密钥服务器实现， 所述方法用于对所述多个参与方中的当前参与方的模型参数进 行多轮迭代更新， 其中一轮迭代更新包括： 当前参与方获取自身对应的待训练模型和训练样本； 所述当前参与方基于所述待训练模型， 计算得到所述训练样本对应的第一预测值， 并 将所述第一预测值发送至异步辅助器； 所述异步辅助器存储有预设损失函数、 所述训练样 本对应的预设标签值和所述多个参与方中的其 余参与方基于所述训练样本的第二预测值； 所述异步辅助器基于所述预设损 失函数、 预设标签值和所述第二预测值， 计算得到当 前参与方基于所述训练样本的真实值； 所述当前参与方基于所述第一预测值和所述真实值， 计算得到梯度； 所述当前参与方基于所述梯度， 对所述待训练模型的参数进行更新， 更新后的模型作 为下一轮迭代的待训练模型或者当前参与方的最终模型。 2.如权利要求1所述的基于纵向联邦学习的模型训练方法， 其特征在于， 所述当前参与 方基于所述第一预测值和所述真实值， 计算得到梯度， 包括： 所述异步辅助器 基于所述第一预测值和所述真实值， 计算得到损失值； 所述当前参与方基于所述损失值， 计算得到梯度。 3.如权利要求2所述的基于纵向联邦学习的模型训练方法， 其特征在于， 所述当前参与 方基于所述损失值， 计算得到梯度， 包括： 所述异步辅助器 基于所述损失值， 计算得到所述当前参与方对应的训练偏差； 所述当前参与方基于所述训练偏差， 计算得到梯度。 4.如权利要求3所述的基于纵向联邦学习的模型训练方法， 其特征在于， 在所述当前参 与方获取自身对应的待训练模型和训练样本的步骤之前， 所述方法还 包括： 密钥服务器生成同态加密密钥， 并将所述同态加密密钥分发至当前参与方、 其余参与 方以及异步辅助器； 所述将所述第一预测值发送至异步辅助器， 包括： 当前参与方基于所述同态加密 密钥对所述第一预测值加密后， 发送至异步辅助器。 5.如权利要求4所述的基于纵向联邦学习的模型训练方法， 其特征在于， 所述当前参与 方基于所述损失值， 计算得到梯度， 包括： 所述异步辅助器将所述训练偏差发送至密钥服 务器； 所述密钥服 务器对所述训练偏差进行解密， 得到解密后的训练偏差； 所述密钥服 务器将所述 解密后的训练偏差发送至所述当前参与方； 所述当前参与方基于所述 解密后的训练偏差， 计算得到梯度。 6.如权利要求1所述的基于纵向联邦学习的模型训练方法， 其特征在于， 在将所述第 一 预测值发送至异步辅助器的步骤之后， 所述方法还 包括： 所述异步辅助器对 存储的关联当前参与方的第一预测值进行 更新。 7.如权利要求3所述的基于纵向联邦学习的模型训练方法， 其特征在于， 所述异步辅助 器计算得到当前参与方基于所述训练样本的真实值的公式为：权　利　要　求　书 1/2 页 2 CN 114118442 A 2其中， F(P)表示当前参与方P对应 的真实值， L(y， h(B))表示预设损失函数， y表示训练 样本对应的预设标签值， h(B)表示 其余参与方B基于所述训练样本的第二预测值。 8.如权利要求7所述的基于纵向联邦学习的模型训练方法， 其特征在于， 所述异步辅助 器基于所述第一预测值和所述真实值， 计算得到损失值的公式为： 其中， LP表示当前参与方P对应的损失值， f(P)表示当前参与方P对应的第一预测值。 9.如权利要求8所述的基于纵向联邦学习的模型训练方法， 其特征在于， 所述异步辅助 器基于所述损失值， 计算得到所述当前参与方对应的训练偏差， 包括： 所述异步辅助器基于所述第一预测值， 对所述损 失值进行求偏导运算， 得到当前参与 方对应的训练偏差 。 10.如权利要求9所述的基于纵向联邦学习的模型训练方法， 其特征在于， 所述当前参 与方基于所述训练偏差， 计算得到梯度的公式为： 其中， ΔWP表示当前参与方对应的梯度， δP表示当前参与方对应的训练偏差， WP表示所 述待训练模型的参数。 11.一种基于纵向联邦学习的模型训练系统， 用于实现如权利要求1所述的基于纵向联 邦学习的模型训练方法， 其特 征在于， 所述系统包括： 模型和样本获取模块， 当前参与方获取自身对应的待训练模型和训练样本； 第一预测值计算模块， 当前参与方基于所述待训练模型， 计算得到所述训练样本对应 的第一预测值， 并将所述第一预测 值发送至异步辅助器； 所述异步辅助器存储有预设损失 函数、 所述训练样本对应的预设标签值和所述多个参与方中的其余参与方基于所述训练样 本的第二预测值； 真实值计算模块， 异步辅助器基于所述预设损失函数、 预设标签值和所述第 二预测值， 计算得到当前参与方基于所述训练样本的真实值； 梯度计算模块， 当前参与方基于所述第一预测值和所述真实值， 计算得到梯度； 模型更新模块， 当前参与方基于所述梯度， 对所述待训练模型的参数进行更新， 更新后 的模型作为下一轮迭代的待训练模型或者当前参与方的最终模型。 12.一种基于纵向联邦学习的模型训练设备， 其特 征在于， 包括： 处理器； 存储器， 其中存 储有所述处 理器的可 执行程序； 其中， 所述处理器配置为经由执行所述可执行程序来执行权利要求1至10中任意一项 所述基于纵向联邦学习的模型训练方法的步骤。 13.一种计算机可读存储介质， 用于存储程序， 其特征在于， 所述程序被处理器执行时 实现权利要求1至10中任意 一项所述基于纵向联邦学习的模型训练方法的步骤。权　利　要　求　书 2/2 页 3 CN 114118442 A 3