(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210844106.4 (22)申请日 2022.07.18 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 蔡晓东　蒋鹏　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 专利代理师 陈晓斌 (51)Int.Cl. G06F 40/216(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06F 17/18(2006.01) (54)发明名称 一种文本摘要评价方法、 装置以及存 储介质 (57)摘要 本发明提供一种文本摘要评价方法、 装置以 及存储介质， 属于语言 处理领域， 方法包括： 对原 始中文文本进行预处理得到处理后文本； 对所有 的原始中文文本和所有的处理后文本进行摘要 关键信息覆盖率的分析得到摘要关键信息覆盖 率、 原始文本摘要概率分布以及处理后文本摘要 概率分布； 对摘要关键信息覆盖率、 原始文本摘 要概率分布以及处理后文本摘要概率分布进行 评价分数的计算得到文本摘要评价结果。 本发明 能够更加合理地评价生成摘要， 且评价结果更加 接近人工评价， 从而 使评价内容更灵活且合理。 权利要求书5页 说明书11页 附图1页 CN 115221863 A 2022.10.21 CN 115221863 A 1.一种文本摘要评价方法， 其特 征在于， 包括如下步骤： 导入多个原始中文文本， 分别对各个所述原始中文文本进行预处理， 得到与各个所述 中文文本对应的处 理后文本； 对所有的原始中文文本和所有的处理后文本进行摘要关键信 息覆盖率的分析， 得到与 各个所述原始中文文本对应的摘要关键信息覆盖率、 与各个所述原始中文文本对应的原始 文本摘要概 率分布以及与各个所述处 理后文本对应的处 理后文本摘要概 率分布； 分别对各个所述摘要关键信 息覆盖率、 与 各个所述原始中文文本对应的原始文本摘要 概率分布以及与各个所述处理后文本对应的处理后文本摘要概率分布进行评价分数的计 算， 得到与各个所述原始中文文本对应的评价分数， 并分别将各个所述评价分数作为各个 所述原始中文文本的文本摘要评价结果。 2.根据权利要求1所述的文本摘要评价方法， 其特征在于， 所述分别对各个所述原始中 文文本进行 预处理， 得到与各个所述中文 文本对应的处 理后文本的过程包括： 分别对各个所述原始中文文本 中的单词 进行随机删除， 得到与 各个所述中文文本对应 的删除后文本； 基于BERT语言模型分别 对各个所述删除后文本进行单词填空， 得到与各个所述中文文 本对应的处 理后文本 。 3.根据权利要求1所述的文本摘要评价方法， 其特征在于， 所述对所有的原始中文文本 和所有的处理后文本进行摘要关键信息覆盖率的分析， 得到与各个所述原始中文文本对应 的摘要关键信息覆盖率、 与各个所述原始中文文本对应的原始文本摘要概率分布以及与各 个所述处 理后文本对应的处 理后文本摘要概 率分布的过程包括： 集合所有的原始中文文本得到文档集， 并基于BERT语言模型对所述文档集进行文档集 的预测， 得到文档概 率分布； 基于BART摘要模型分别 对各个所述原始中文文本进行原始中文文本的预测， 得到与各 个所述原 始中文文本对应的原 始文本摘要概 率分布； 基于所述BART摘要模型分别 对各个所述处理后文本进行处理后文本概率分布的预测， 得到与各个所述处 理后文本对应的处 理后文本摘要概 率分布； 根据所述文档概率分布分别对各个所述原始文本摘要概率分布进行第一共现文本的 计算， 得到与各个所述原 始中文文本对应的第一共现文本； 根据所述文档概率分布分别对各个所述处理后文本摘要概率分布进行第二共现文本 的计算， 得到与各个所述原 始中文文本对应的第二共现文本； 对所有的第 一共现文本和所有的第 二共现文本进行文档覆盖率的计算， 得到文档覆盖 率； 根据所述文档覆盖率对各个所述原始文本摘要概率分布以及与各个所述原始中文文 本对应的处理后文本摘要概率分布进 行摘要关键信息覆盖率的计算， 得到与各个所述原始 中文文本对应的摘要关键信息覆盖率。 4.根据权利要求3所述的文本摘要评价方法， 其特征在于， 所述根据所述文档概率分布 分别对各个所述原始文本摘要概率分布进 行第一共现文本的计算， 得到与各个所述原始中 文文本对应的第一共现文本的过程包括： 通过第一式分别对所述文档概率分布以及与各个所述原始中文文本对应的原始文本权　利　要　求　书 1/5 页 2 CN 115221863 A 2摘要概率分布进 行第一共现文本的计算， 得到与各个所述原始中文文本对应的第一共 现文 本， 所述第一式为： 其中， c～N(0， 1)， 其中， coverage(pφ|T(.|xi； ω； L)， pφ|K(.|D； ω； W))为第i个原始文本摘要对应的第一 共现文本， c为关键共现片段分布， pφ|K(.|D； ω； W)为文档概率分布， pφ|T(.|xi； ω； L)为第i 个原始中文文本对应的原始文本摘要概率分布， |.|为共现片段长度， L为调节参数， 为词 表大小， N(0， 1)为均值 等于1， 方差等于1的正太分布。 5.根据权利要求3所述的文本摘要评价方法， 其特征在于， 所述根据所述文档概率分布 分别对各个所述处理后文本摘要概率分布进 行第二共现文本的计算， 得到与各个所述原始 中文文本对应的第二共现文本的过程包括： 通过第二式分别对所述文档概率分布以及与各个所述处理后文本对应的处理后文本 摘要概率分布进 行第二共现文本的计算， 得到与各个所述原始中文文本对应的第二共 现文 本， 所述第二式为： 其中， c～N(0， 1)， 其中， 为第i个处理后文本对应 的第二共现文本， c为关键共现片段分布， pφ| K( .|D； ω； W)为文档概率分布， 为第i个处理后文本对应的处理后文本摘要概率分布， |.|为共现片段长 度， L为调节参数， 为词表大小， N(0， 1)为均值 等于1， 方差等于1的正太分布。 6.根据权利要求3所述的文本摘要评价方法， 其特征在于， 所述对所有的第 一共现文本 和所有的第二共现文本进行文档覆盖率的计算， 得到文档覆盖率的过程包括： 通过第三式对所有的第一共现文本和所有的第 二共现文本进行文档覆盖率的计算， 得 到文档覆盖率， 所述第三式为； 其中，权　利　要　求　书 2/5 页 3 CN 115221863 A 3