(19)中华 人民共和国 国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202111592897.8
(22)申请日 2021.12.23
(71)申请人 中国科学技术大学
地址 230026 安徽省合肥市包河区金寨路
96号
(72)发明人 王上飞 李晨光 陈小平
(74)专利代理 机构 北京凯特来知识产权代理有
限公司 1 1260
代理人 郑立明 付久春
(51)Int.Cl.
G06F 16/35(2019.01)
G06Q 10/04(2012.01)
(54)发明名称
一种文本共情预测模型及方法
(57)摘要
本发明公开了一种基于文本情感分类辅助
的文本共情预测模型及方法, 模型包括: 共情私
有特征编码器将共情数据的私有特征编码成共
情私有特征; 极性私有特征编码器将极性数据的
私有特征编码成极性私有特征; 公共 特征编码器
将共情数据和极性数据的公有特征分别编码成
共情、 极性公有特征; 共情公私有特征融合模块
将共情公、 私有特征加权融合为最终共情预测特
征表达; 极性公私有特征融合模块将极性公、 私
有特征加权融合为最终极性分类特征表达; 共情
预测器预测最终共情预测特征表达得预测标签;
极性分类器预测最终极性分类特征表达得预测
标签。 该模 型及方法能基于迁移学习实现经大规
模的文本情感分类数据来辅助小规模的文本共
情预测, 提升预测准确性。
权利要求书4页 说明书12页 附图2页
CN 114281993 A
2022.04.05
CN 114281993 A
1.一种文本共情预测模型, 其特 征在于, 包括:
共情私有特征编码器、 极性私有特征编码器、 公共特征编码器、 共情 公私有特征融合模
块、 极性公私有特 征融合模块、 共情预测器和极性分类 器; 其中,
所述共情私有特征编码器的输入为共情数据集中的共情数据, 能对输入的所述共情数
据的私有特 征进行编码, 得到共情私有特 征;
所述极性私有特征编码器的输入为极性数据集中的极性数据, 能对输入的所述极性数
据的私有特 征进行编码, 得到极性私有特 征;
所述公共特征编码器分别接收所述共情数据集中的共情数据与所述极性数据集中的
极性数据, 能对所述共情数据的公有 特征进行编码, 得到共情公有 特征, 以及对 所述极性数
据的公有特 征进行编码, 得到极性公有特 征;
所述共情 公私有特征融合模块, 分别与 所述共情私有特征编码器的输出端和公共特征
编码器的输出端连接, 能将所述共情私有 特征编码器输出的共情私有 特征和所述 公共特征
编码器输出的共情公有特 征加权融合 为最终的共情预测特 征表达;
所述极性公私有特征融合模块, 分别与 所述极性私有特征编码器的输出端和公共特征
编码器的输出端连接, 能将所述极性私有 特征编码器输出的极性私有 特征和所述 公共特征
编码器输出的极性公有特 征加权融合 为最终的极性分类特 征表达;
所述共情预测器, 与所述共情公私有特征融合模块的输出端连接, 能对最终的共情预
测特征表达进行 预测得出对应的共情标签;
所述极性分类器, 与所述极性公私有特征融合模块的输出端连接, 能对最终的极性分
类特征表达进行 预测得出对应的极性标签。
2.根据权利要求1所述的基于文本情感分类辅助的文本共情预测模型, 其特 征在于,
所述共情私有特征编码器还输入极性数据集中的极性数据, 能对输入的所述极性数据
的私有特 征进行编码, 得到共情极性私有特 征;
所述极性私有特征编码器还输入共情数据集中的共情数据, 能对输入的所述共情数据
的私有特 征进行编码, 得到极性共情私有特 征;
还包括: 领域二分类器, 该领域二分类器的输入端分别与所述共情私有特征编码器、 极
性私有特征编 码器和公共特征编码器的输出端连接, 能以对抗分类损失方式对公共特征编
码器输出的公共特 征编码进行二分类处 理;
和/或, 共情铰链损失模块与极性铰链损失模块; 其中,
所述共情铰链损失模块与 所述共情预测器的输出端连接, 能在正确拼接结果对应的共
情预测结果Lem与错误拼接结果对应的共情预测 结果Lem’之间的差值小于预设差值时进行
共情预测, 所述正确 拼接结果指共情私有特征与共情公有特征的拼接结果, 所述错误拼接
结果指极性私有特 征与共情私有特 征的拼接结果;
所述极性铰链损失模块与 所述极性分类器的输出端连接, 能在正确拼接结果对应的极
性预测结果Lem与错误拼接结果对应的极性预测 结果Lem’之间的差值小于预设差值时进行
极性预测, 所述正确 拼接结果指极性私有特征与极性公有特征的拼接结果, 所述错误拼接
结果指共情私有特 征与极性私有特 征的拼接结果。
3.根据权利要求2或3所述的基于文本情感分类辅助的文本共情预测模型, 其特征在
于,权 利 要 求 书 1/4 页
2
CN 114281993 A
2所述极性私有特 征编码器采用Bi ‑LSTM类型或BERT类型的特 征编码器;
所述公共特 征编码器采用Bi ‑LSTM类型或BERT类型的特 征编码器;
所述共情公私有特 征融合模块与极性公私有特 征融合模块均采用注意力网络模块;
所述共情预测器采用全连接网络;
所述极性分类 器采用全连接网络;
所述领域 二分类器采用全连接网络 。
4.根据权利要求1或2所述的基于文本情感分类辅助的文本共情预测模型, 其特征在
于, 所述共情私有特 征编码器采用Bi ‑LSTM类型或BERT类型的特 征编码器;
所述极性私有特 征编码器采用Bi ‑LSTM类型或BERT类型的特 征编码器;
所述公共特 征编码器采用Bi ‑LSTM类型或BERT类型的特 征编码器;
所述共情公私有特 征融合模块与极性公私有特 征融合模块均采用注意力网络模块;
所述共情预测器采用全连接网络;
所述极性分类 器采用全连接网络 。
5.一种文本共情预测方法, 其特征在于, 采用权利要求1至4任一项所述的基于文本情
感分类辅助的文本共情预测模型, 包括:
步骤1, 对输入的共情数据集中的共情数据的私有特征进行编码得到共情私有特征, 以
及对输入的极性数据集中的极性数据的私有特 征进行编码得到极性私有特 征;
对输入的共情数据集中的共情数据的公有特征进行编码得到共情 公有特征, 以及对输
入的极性数据集中的极性数据的公有特 征进行编码得到极性公有特 征;
步骤2, 对所述步骤1得到的共情私有特征和共情 公有特征进行加权融合成最终的共情
预测特征表达; 以及对所述步骤1得到的极性私有特征和极性公有特征进行加权融合成最
终的极性预测特 征表达;
步骤3, 对所述步骤2得到的最终的共情预测特征表达进行共情预测得出作为预测结果
的对应的共情标签; 以及对最终的极性分类特征表达进行极性分类得出作为预测结果的对
应的极性标签。
6.根据权利要求5所述的基于文本情感分类辅助的文本共情预测方法, 其特征在于, 所
述步骤2中, 加权融合得到的最终的共情 预测特征表达fem与最终的极性分类特征表达fpo分
别为:
上述式(1)、 (2)中, q为qk*U(Sem),其中qk为超参数向量, 其维度为 R1*d, qk为超参数向量,
通过随机初始化 得到初始值Q; T为转置矩阵, 即U(sem)T为U(sem)的转置矩阵; d为 特征向量的
维度; U(sem)为共情私有特征eem(sem)与共情公共特征ec(sem)的拼接结果, U(sem)∈R2*d; sem
为共情数据集中的共情数据; V(spo)为极性私有特征epo(spo)与极性公共 特征ec(spo)的拼接
结果, V(spo)∈R2*d, spo为极性数据集中的极性数据;
所述步骤3中, 将得到的最终的共情 预测特征表达fem输入到共情 预测器gem()中按公式权 利 要 求 书 2/4 页
3
CN 114281993 A
3
专利 一种文本共情预测模型及方法
文档预览
中文文档
19 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-19 03:08:43上传分享