金融行业标准网
(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111449196.9 (22)申请日 2021.11.30 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 刘凡 高旭宁 张皓天 温瀚翔  张紫钰  (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 代理人 贾允 方秀琴 (51)Int.Cl. G06F 16/35(2019.01) G06F 16/38(2019.01) G06N 20/00(2019.01) G06F 40/289(2020.01) (54)发明名称 文本处理方法、 文本分类方法、 装置、 设备及 存储介质 (57)摘要 本公开关于一种文本处理方法、 文本 分类方 法、 装置、 设备及存储介质, 该文本分类方法包 括: 获取待处理文本; 在待处理文本的长度大于 预设长度的情况下, 从待处理文本中提取出预设 长度的第一子文本; 在第二子文本包括预设字 符 的情况下, 拼接预设字 符和第一子文本中的多个 字符, 得到 预设长度的第一目标拼接文本; 其中, 第二子文本为待处理文本中除第一子文本之外 的文本。 本公开既解决了长文本字数不符合语言 模型要求的问题, 又可以从长文本中截取表示文 本核心内容的关键字符和 需要监测的主题名 称 的第一目标拼接文本对模型训练, 从而提升了模 型的性能, 使得训练得到的语言模 型在对文本进 行分类时具有更高的准确率。 权利要求书2页 说明书17页 附图7页 CN 114186060 A 2022.03.15 CN 114186060 A 1.一种文本处 理方法, 其特 征在于, 包括: 获取待处 理文本; 在所述待处理文本的长度大于预设长度的情况下, 从所述待处理文本中提取出所述预 设长度的第一子文本; 在第二子文本包括预设字符的情况下, 拼接所述预设字符和所述第 一子文本中的多个 字符, 得到所述预设长度的第一目标拼接文本; 其中, 所述第二子文本为所述待处 理文本中除所述第一子文本之外的文本 。 2.根据权利要求1所述的文本处理方法, 其特征在于, 所述拼接所述预设字符和所述第 一子文本中的多个字符, 得到所述预设长度的第一目标拼接文本, 包括: 从所述第一子文本 中提取出预设数量个字符; 所述第 一子文本中除所述预设数量个字 符之外的字符的数量, 与所述预设字符所包括的字符的数量相等; 拼接所述预设数量个字符和所述预设字符, 得到所述第一目标拼接文本 。 3.根据权利要求2所述的文本处理方法, 其特征在于, 所述在所述待处理文本的长度 大 于预设长度的情况 下, 从所述待处 理文本中提取 出所述预设长度的第一子文本, 包括: 以所述待处理文本的首位字符作为起始位置, 向后 一个字符的方向提取出第 一数量的 字符, 得到首 段文本; 以所述待处理文本的末位字符作为终止位置, 向前一个字符的方向提取出第 二数量的 字符, 得到末段文本; 将所述首段文本和所述末段文本作为所述第 一子文本; 所述第 一数量与所述第 二数量 之间的差值小于预设数量阈值。 4.根据权利要求3所述的文本处理方法, 其特征在于, 所述预设字符中包括第 三数量个 字符, 所述从所述第一子文本中提取 出预设数量个字符, 包括: 以所述首段文本的首位字符作为起始位置, 向后一个字符的方向提取出第四数量的字 符; 以所述末段文本的末位字符作为终止位置, 向前一个字符的方向提取出第五数量的字 符; 将所述第四数量的字符和所述第五数量的字符作为所述预设数量个字符; 其中, 所述第四数量小于所述第 一数量, 所述第五数量小于所述第二数量, 第 一差值与 第二差值的和等于所述第三数量, 所述第一差值表征所述第一数量与所述第四数量之 间的 差值, 所述第二差值表征 所述第二数量与所述第五数量之间的差值。 5.一种文本分类方法, 其特 征在于, 包括: 获取待分类文本; 在所述待分类文本的长度大于预设长度的情况下, 从所述待分类文本中提取出所述预 设长度的第一子文本; 在第二子文本包括预设字符的情况下, 拼接所述预设字符和所述第 一子文本中的多个 字符, 得到所述预设长度的第二 目标拼接文本; 所述第二子文本为所述待分类文本中除所 述第一子文本之外的文本; 通过预设语言模型对所述第 二目标拼接文本进行分类; 所述预设语言模型为基于权利 要求1中的第一目标拼接文本进行训练得到 。权 利 要 求 书 1/2 页 2 CN 114186060 A 26.一种文本处 理装置, 其特 征在于, 包括: 待处理文本获取模块, 被 配置为执 行获取待处 理文本; 第一提取模块, 被配置为执行在所述待处理文本的长度大于预设长度的情况下, 从所 述待处理文本中提取 出所述预设长度的第一子文本; 第一拼接模块, 被配置为执行在第二子文本包括预设字符的情况下, 拼接所述预设字 符和所述第一子文本中的多个字 符, 得到所述预设长度的第一目标拼接文本; 其中, 所述第 二子文本为所述待处 理文本中除所述第一子文本之外的文本 。 7.一种文本分类装置, 其特 征在于, 包括: 待分类文本获取模块, 被 配置为执 行获取待分类文本; 第二提取模块, 被配置为执行在所述待分类文本的长度大于预设长度的情况下, 从所 述待分类文本中提取 出所述预设长度的第一子文本; 第三拼接模块, 被配置为执行在第二子文本包括预设字符的情况下, 拼接所述预设字 符和所述第一子文本中的多个字符, 得到所述预设长度的第二 目标拼接文本; 所述第二子 文本为所述待分类文本中除所述第一子文本之外的文本; 分类模块, 被配置为执行通过预设语言模型对所述第二目标拼接文本进行分类; 所述 预设语言模型为基于 权利要求1中的第一目标拼接文本进行训练得到 。 8.一种电子设备, 其特 征在于, 包括: 处理器; 用于存储所述处 理器可执行指令的存 储器; 其中, 所述处理器被配置为执行所述指令, 以实现如权利要求1至4中任一项所述的文 本处理方法或权利要求5所述的文本分类方法。 9.一种计算机可读存储介质, 当所述计算机可读存储介质中的指令由电子设备的处理 器执行时, 使得所述电子 设备执行如权利要求 1至4中任一项 所述的文本处理方法或权利要 求5所述的文本分类方法。 10.一种计算机程序产品, 包括计算机程序, 其特征在于, 所述计算机程序被处理器执 行时实现权利要求1至4中任一项所述的文本处 理方法或权利要求5所述的文本分类方法。权 利 要 求 书 2/2 页 3 CN 114186060 A 3

.PDF文档 专利 文本处理方法、文本分类方法、装置、设备及存储介质

文档预览
中文文档 27 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共27页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 文本处理方法、文本分类方法、装置、设备及存储介质 第 1 页 专利 文本处理方法、文本分类方法、装置、设备及存储介质 第 2 页 专利 文本处理方法、文本分类方法、装置、设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-19 01:22:13上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。