(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210717351.9 (22)申请日 2022.06.23 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 冯天　张微　尤宁宁　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 傅朝栋　张法高 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/284(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) (54)发明名称 一种基于RoBERTa模型的长文本信息立场检 测方法 (57)摘要 本发明公开了一种基于RoBERTa模 型的长文 本信息立场检测方法。 本发明在长文本信息立场 检测任务中引 入基于文本切割的RoBERTa模型， 用于编码各索引片段； 引入BiLS TM和CRF模 块， 用 于标记关键证据； 引入基于Self ‑training的半 监督学习方法， 用于训练BiLS TM和CRF模 块。 与现 有长文本信息立场检测方法相比， 本发明通过创 新文本分割过程， 解决RoBERTa模型对文本长度 的限制问题， 使其可更关注全局信息， 避免因文 本长度限制导致的局部信息丢失； 通过基于半监 督学习的关键句标注， 提高模型的可解释性， 并 抑制长文本噪声 对模型最终预测的干 扰。 权利要求书2页 说明书7页 附图3页 CN 115203406 A 2022.10.18 CN 115203406 A 1.一种基于RoBERTa模型的长文本信息立场检测方法， 其特征在于： 将待检测的证据文 档和声明句， 输入已预 先训练的立场检测模型中， 对声明的真假进行 预测； 其中， 所述立场检测模型由编码器层、 层次注意力机制层、 关键句标记层和分类层组 成， 其中层次注意力机制层包括词(word)级别注意力机制和句(sentence)级别注意力机 制； 首先， 对拼接后的证据文档和声明句进行分词并转换， 得到词索引； 对所有词索引构成 的索引序列进行带重叠的分割， 得到一系列索引片段， 将其输入编码器层； 在编码器层， 使 用RoBERTa模型对每个索引片段进行编码， 得到词向量； 对词向量去除重叠部分后进行重新 拼接， 得到证据文档和声明句中每个句的词向量序列； 然后， 在层次注意力机制层， 对声明 句的词向量序列中的所有词向量进行平均融合， 得到声明句向量， 将其作为层次注意力机 制的查询； 对证据文档中每个分句的词向量序列进行词级别注意力机制加权融合， 得到句 向量； 对证据文档中每个分句的句向量进行句级别注意力机制加权融合， 得到证据文档向 量； 同时， 在关键句标记层， 将证据文档中每个分句的句向量标记为关键句或非关键句； 对 所有关键句的句向量进 行加权融合， 得到 关键句加权平均向量； 最后， 将拼接后的关键句加 权平均向量、 证明文档向量和声明句向量输入分类层， 输出声明真假的分类结果。 2.如权利要求1所述的基于RoBERTa模型的长文本信息立场检测方法， 其特征在于， 所 述立场检测模型的关键句标记层由BiLSTM和 CRF模块组成； 将证据文档中所有分句的句向 量作为序列输入BiLSTM模块， 输出每个分句属于关键句或非关键句类别的分数； 将该分数 输入CRF模块， 输出证据文档中分句序列的关键句标记。 3.如权利要求2所述的基于RoBERTa模型的长文本信息立场检测方法， 其特征在于， 当 未标记所述证据文档的关键句时， 基于Self ‑training的半监督学习方法， 对 所述立场检测 模型的关键句标记层中的BiLSTM和CRF模块进 行迭代训练； 每一轮训练的关键句标记， 由上 一轮训练得到的立场检测模型 预测输出， 且第一轮训练仅将声明句作为关键句。 4.如权利要求1所述的基于RoBERTa模型的长文本信息立场检测方法， 其特征在于， 所 述索引序列在输入RoBERTa模型进行文本编码前， 需先进行等长分割， 得到一系列索引片 段； 每个片段的长度均为RoBERTa模 型支持的最大输入长度， 即512个词， 且任意相邻两个索 引片段均具有重 叠部分。 5.如权利要求1所述的基于RoBERTa模型的长文本信息立场检测方法， 其特征在于， 所 述立场检测模型训练所采用的总损失为关键句标记层损失和分类层损失的加权和， 其中关 键句标记层所采用的损失函数为负对数似然损失， 分类层所采用的损失函数为交叉熵损失 函数。 6.如权利要求1所述的基于RoBERTa模型的长文本信息立场检测方法， 其特征在于， 所 述词级别注 意力机制中， 仅使用证据文档的词向量作为Query、 Valu e和Key进行自注 意力融 合， 得到自注意力句向量； 同时， 对声明句的词向量序列中所有词向量进行平均融合， 得到 声明句向量， 以声明句向量作为Query， 以证据文档中每个分句的词向量序列作为Key和 Value， 进行外 部注意力融合， 得到 外部注意力句向量。 7.如权利要求6所述的基于RoBERTa模型的长文本信息立场检测方法， 其特征在于， 所 述句级别注意力机制中， 以声明句向量、 自注意力句向量、 外部注意力句向量， 分别作为 Query， Key， Value进行注意力融合， 得到证据文档向量。 8.如权利要求1所述的基于RoBERTa模型的长文本信息立场检测方法， 其特征在于， 所权　利　要　求　书 1/2 页 2 CN 115203406 A 2述RoBERTa模型为RoBERTa ‑large模型， 各词向量、 句向量、 文档向量均采用RoBERTa ‑large 的词向量默认输出维度， 即1024维。 9.如权利要求1所述的基于RoBERTa模型的长文本信息立场检测方法， 其特征在于， 所 述分类层由全连接层和Softmax层组成。 10.如权利 要求1所述的基于RoBERTa模型的长文本信息立场 检测方法， 其特征在于， 所 述Softmax层输出代 表声明真假 程度的多分类结果。权　利　要　求　书 2/2 页 3 CN 115203406 A 3