(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111444136.8 (22)申请日 2021.11.30 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 邱锡鹏　李世民　周雅倩　 (74)专利代理 机构 上海德昭知识产权代理有限 公司 31204 代理人 郁旦蓉 (51)Int.Cl. G06F 40/35(2020.01) G06N 20/00(2019.01) (54)发明名称 基于有监督对比学习与回复生成辅助的对 话情感识别方法 (57)摘要 本发明提供一种基于有监督对比学习与回 复生成辅助的对话情感识别方法， 首先， 由于构 建的预训练模型CoG ‑BART ， 采用对话级 Transformer模块对待测对话进行上下文建模， 从而解决了话语 之间的长距离依赖问题， 同时由 于整体模型架构均由Transformer组成， 因此引 入了更少的结构先验假设； 其次， 由于采用了有 监督对比学习来训练模型， 在 充分利用标签信息 的情况下， 不仅能够增加模型训练时的稳定性并 增强模型的泛化性， 还使 得相同情感的样本间内 聚， 不同情感的样本相互斥， 因此改进了相似情 感难以区分的问题； 最后， 由于辅助性回复生成 任务能够根据给定的上文信息获取更准确的下 文， 从而使得模 型在判断话语情感时能考虑更加 丰富的上下文信息， 提升模型识别对话的情感标 签的精确性。 权利要求书3页 说明书8页 附图2页 CN 114091478 A 2022.02.25 CN 114091478 A 1.一种基于有监督对比学习与回复生成辅助的对话情感识别方法， 其特征在于， 包括 以下步骤： 步骤S1， 基于编码器 ‑解码器构建预训练模型CoG ‑BART， 所述预训练模型CoG ‑BART具有 对话级Transformer模块以及共享嵌入层； 步骤S2， 采用所述预训练模型CoG ‑BART对训练用对话进行话语编码获取所述训练用对 话所包含的话语的隐状态； 步骤S3， 所述预训练模型CoG ‑BART基于所述话语的隐状态和上下文文本对进行辅助 性 回复生成任务并计算生成损失， 同时将所述隐状态输入至所述对话级Tr ansformer模块进 行话语的上 下文建模得到新的话语隐状态； 步骤S4， 基于所述 新的话语隐状态计算有监 督对比学习损失和交叉熵损失； 步骤S5， 基于所述生成损失、 有监督对比学习损失以及交叉熵损失计算总体训练损失， 并对所述预训练模 型CoG‑BART进行训练， 直至获得训练好的预训练模 型CoG‑BART并将其作 为对话情感识别模型； 步骤S6， 将包含若干句子的待测对话输入至对话情 感识别模型进行情 感识别并输出待 测对话中若干句子对应的情感标签， 其中， 所述上 下文文本对基于所述训练用对话 生成。 2.根据权利要求1所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方 法， 其特征在于： 其中， 所述 步骤S2包括以下子步骤： 步骤S2‑1， 将所述训练用对话中的一个话语与对应的说话者进行拼接得到拼接后的话 语： 式中， ut为所述训练用对话中的某个话语， p(ut)为话语ut的说话者； 步骤S2‑2， 对所述 拼接后的话语进行词块 化得到词块 化的话语： 式中， wt,i表示词块化后的词块， |nt|表示第t轮话语进行词块后的序列长度， <s>和</s> 分别表示句子开始和结束的特殊词块； 步骤S2‑3， 将所述词块化的话语依次输入至所述共享嵌入层以及编码器获取与所述词 块化的话语对应句子表示即所述 话语的隐状态： 式中， Ht表示嵌入后的句子表示， 为经过编码的句子表示， 其中， s,d 分别表示序列长度和隐状态维度。 3.根据权利要求2所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方 法， 其特征在于： 其中， 在所述 步骤S3中， 所述上 下文建模 包括以下子步骤： 步骤S3‑1， 将经过编码的句子表示 通过最大池化获取每 个话语的聚合表示 权　利　要　求　书 1/3 页 2 CN 114091478 A 2式中， M表示对填补上的位置进行掩码 操作； 步骤S3‑2， 针对一个上下文中的所有对话， 基于多头注意力机制计算每两个不同话语 之间的多头注意力， 并对所述每个话语的不同特征进行聚合获取最终的隐状态表示， 所述 每两个不同话语的隐状态 的多头注意力的计算公式为： MultiHead(Q,K,V)＝[head1；…； headn]WO 式中， Q、 K、 V分别表示将两个不同话语的隐状态 与三个可训练参数矩阵WiQ、 WiK、 WiV相乘得到的查询向量、 键向量以及 值向量， M表示掩码向量， WO表示将各个注意力头he adi 中的信息进行聚合的参数向量； 步骤S3‑3， 基于所述对话级Transformer模块进行上下文依赖关系的建模获取所述新 的话语隐状态： 式中， 表示窗口中的某个对话， 表示一段对话中窗口大小bs内的对话， 表示进行 上下文建模后的所述 新的话语隐状态。 4.根据权利要求3所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方 法， 其特征在于： 其中， 在所述 步骤S3中， 所述辅助性回复生成任务 为： 所述预训练模型CoG ‑BART基于上文 ut生成对应的下文 ut+1， 所述下文 ut+1中的每一个词块的隐状态由解码器序列输出： 式中， BART ‑Encoder和BART ‑Decoder分别表示所述预训练模型CoG ‑BART的编码器和解 码器， 编码器对话语隐状态Ht进行编码后生成编码后的隐状态 由解码器生成下一个词 块的隐状态 并通过Softmax函数 得到词块ut+1,j。 5.根据权利要求4所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方 法， 其特征在于：权　利　要　求　书 2/3 页 3 CN 114091478 A 3