(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210610674.8 (22)申请日 2022.05.31 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 陈志豪　蔡子阳　蔡铁城　杨州　 廖祥文　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈明鑫　蔡学俊 (51)Int.Cl. G06F 16/33(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于双重匹配的观点型机器阅读理解 方法及系统 (57)摘要 本发明涉及一种基于双重匹配的观点型机 器阅读理解方法及系统。 该系统包括： 数据预处 理模块对文本数据进行预处理， 对数据进行分 词、 计算位置信息等操作， 将单词映射到语义空 间中获取文本表示； 双重匹配模块利用动态和多 维度的两种匹配机制计算文档和问题的交互表 示； 多路注 意力模块通过不同注 意力机制从不同 角度捕获全局观点信息， 拼接后获得文档和问题 的多路注 意力表示； 融合模块使用门控选择机制 对文档和问题的全局观点信息综合上下文信息 进行汇总， 得到统一的观点证据表示； 预测模块 利用观点证据表示对问题答案进行预测， 选择正 确概率最大的选项作为问题的答案。 本发明能够 更好的根据文本内容结合观点信息对问题进行 回答。 权利要求书2页 说明书6页 附图1页 CN 114996401 A 2022.09.02 CN 114996401 A 1.一种基于双重匹配的观点型机器阅读理解方法， 其特 征在于， 包括： 对新闻文章语料集进行预处理， 并采用BERT预训练模型作 为编码器， 将观点倾向、 相关 文档、 查询问题拼接后进行编码， 获取对应的隐藏表示； 利用双重匹配机制， 对查询问题和相关文档的文本信息进行交互匹配， 提取全局的观 点信息和不同层次的语义信息， 最终得到问题启发式的文档表示和文档启发式的问题表 示； 利用多路注意力 机制搭配并行多路计算， 从不同的角度 结合问题对文章以及文章对问 题两个方向学习问题和文档中的观点极性， 得到文档 ‑问题交互表示； 利用门控机制对学习到的文档 ‑问题交互表示进行融合， 得到最终的观点证据表示； 结合经过BERT编码后的选项信息， 经 过全连接层后对查询问题的正确答案进行 预测。 2.根据权利要求1所述的一种基于双重匹配的观点型机器阅读理解方法， 其特征在于， 所述采用BERT预训练模型作为编码器， 将观点倾 向、 文档、 问题拼接后进行编码， 获取对应 的隐藏表示； 具体为： 对原始文本数据进行包括分词、 去 除停用词的操作， 将相关文档与查询问题分别映射 到低维语义空间中获取词向量， 得到文档原始表示P＝{p1， p2， ...， pm}问题原始表示Q＝ {q1， q2， ...， qn}， 以及观点倾向A＝{a1， a2， a3}， pi和qj分别代表相关文档和查询问题中第i个 单词和第j个单词的词向量表示， i＝1,2, ……,m， j＝1,2, ……,n， m,n分别是相关文档和查 询问题的单词数量， a1， a2， a3分别表示是、 否、 不确定三种观点倾向； 将P,Q,V拼接后输入 BERT编码器进行编码， 具体 计算公式如下： [EA,EQ,EP＝BERTEncoder[A； Q； P] ] 其中， EP为文档表示， EQ为问题表示， EA为观点倾向表示。 3.根据权利要求2所述的一种基于双重匹配的观点型机器阅读理解方法， 其特征在于， 所述利用双重匹配机制， 对问题和文档的文本信息进行交互匹配， 提取全局的观点信息和 不同层次的语义信息， 最终得到问题启发式的文档表示和文档启发式的问题 表示， 具体为： 对BERT编码后的文档表示EP和问题表示EQ， 计算它们间的相似矩阵L(i)， 经过行列归一 化后获得相关文档和查询问题间的权重矩阵； 基于该权重矩阵， 一方面， 使用迭代的动态匹 配机制提取相关文档和查询问题中的观点信息， 另一方面， 使用多维度匹配机制融合不同 层次的上下文表示， 用于提取全局语义特征； 最后使用AOA  Reader模块综合动态和多维度 的双重匹配机制信息计算得到问题启发式的文档表示和文档启发式的问题 表示。 4.根据权利要求1所述的一种基于双重匹配的观点型机器阅读理解方法， 其特征在于， 所述利用多路注意力机制搭配并行多路计算， 从不同的角度结合问题对文章以及文章对问 题两个方向学习问题和文档中的观点极性， 具体为： 采用Scaled  Dot‑Product Attention和minus  attention注意力机制对经过双重匹配 机制得到相关文档和查询问题表示间的关系进行建模， 获得问题对文档、 文档对问题2个方 向的交互， 在此基础上采用多头注意力机制获取不同角度下 的注意力权重， 并通过最大池 化操作抽取相关文档和查询问题之间最相关的信息 。 5.根据权利要求4所述的一种基于双重匹配的观点型机器阅读理解方法， 其特征在于， 所述门控机制对学习到的文档 ‑问题交互表示进行融合， 得到最终的观点证据表示， 具体 为：权　利　要　求　书 1/2 页 2 CN 114996401 A 2对经过不同注意力机制计算后得到的查询问题和相关文本表示进行线性变换， 利用 sigmoid函数激活后使用门控机制综合考虑文档对问题和问题对文档间两个交互方向上的 信息， 从而得到最终的观点证据表示用于答案预测。 6.根据权利要求1所述的一种基于双重匹配的观点型机器阅读理解方法， 其特征在于， 所述结合经过BERT编码后的选项信息， 经过全连接层后对问题的正确答案进行预测， 具体 为： 采用余弦相似度计算选项编码信息即观点倾向表示EA与最终的观点证据表示间的相似 性， 利用softmax激活函数对所得向量进 行归一化处理， 得到的概率最大值所对应的选项即 为问题答案 。 7.一种基于双重匹配的观点型机器阅读理解系统， 其特征在于， 包括存储器、 处理器以 及存储在存储器上并能够被处理器运行的计算机程序指令， 当处理器运行该计算机程序指 令时， 能够实现如权利要求1 ‑6任一项所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 114996401 A 3