(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210712691.2 (22)申请日 2022.06.22 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 王衍洋　唐文忠　孙书玮　 (74)专利代理 机构 北京天汇航智知识产权代理 事务所(普通 合伙) 11987 专利代理师 陈陈数 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/151(2020.01) G06F 40/211(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于上下文和图注意力的事件抽取方 法 (57)摘要 本发明涉及自然语 言处理领域， 尤其涉及一 种基于上下文和图注意力的事件抽取方法， 包括 事件检测和事件论元抽取两大步骤。 事件检测 中， 对预处理后的文本进行事件检测， 判断出事 件触发词和事件类型， 所述事件检测模型提取句 子间上下文特征； 事件论元抽取中， 基于获取的 事件触发词和事件类型， 通过图神经网络进行编 码得到句法依赖信息， 获取事件类型和论元信 息。 本发明的事件抽取方法整体性能高、 召回率 高、 效率高。 权利要求书2页 说明书6页 附图2页 CN 115392248 A 2022.11.25 CN 115392248 A 1.一种基于上 下文和图注意力的事 件抽取方法， 其特 征在于， 包括如下步骤： S1： 事件检测， 对预处理后的文本进行事件检测， 判断出事件触发词和事件类型， 所述 事件检测模型提取句子间上 下文特征； S2： 事件论元抽取， 基于所述步骤S1中获取的事件触发词和事件类型， 通过图神经网络 进行编码得到句法依赖信息， 获取事 件类型和论元信息 。 2.根据权利要求1所述的事 件抽取方法， 其特 征在于， 步骤S1包括： S101： 文本预处理， 对文本进行分句、 分词、 词性标注、 命名实体识别、 句法依存分析， 将 文本转化为格式统一的词嵌入矩阵， 得到句法依赖树； S102： 根据S101中所述句 法依赖树构建句 法图， 采用双向长短时记忆力网络和多阶图 注意力网络提取句子内文本特 征， 得到句子内信息嵌入； S103： 使用词嵌入矩阵表示句子间上 下文特征， 得到句子间上 下文嵌入； S104： 将所述句子内信息嵌入与所述句子间上下文嵌入连接， 得到最终嵌入hi,sentCtx＝ [hi,hi_sentCtx]， 其中hi代表第i个句子的自身嵌入信息， hi_sentCtx代表这句话的上 下文嵌入； S105： 将S104得到的最终嵌入输入全连接层后， 输入softmax分类器， 输出事件触发词 和事件类型。 3.根据权利要求2所述的事 件抽取方法， 其特 征在于， 步骤S10 3具体包括： 将当前句子 的上下文句子分别记作为Sentpre和Sentnext， 根据词嵌入矩阵获取上下 文句子中每个词的嵌入表 示， 得到上下文句子嵌入序列分别为： Wpre＝[w1,w2,…,wn]表示前 一个句子的句子内信息嵌入表示， 其中w1,w2,…,wn表示句子中的n个单词， Wnext＝[w′1,w ′2,…,w′m]表示后一个句子的句子内信息嵌入表示， 其中w ′1,w′2,…,w′m表示句子中的m个 单词； 用上一句和下一句话的词嵌入序列的平均值作为上下文句子的句嵌入， 分别为： 前一 个句子的平均信息嵌入 其中hpre,i表示前一个句子的每个单词的嵌入表示， Npre表示前一个句子的单词数量， 后一个句子的平均信息嵌入 其中hnext,i表 示下一个句子的每个单词的嵌入表示， Nnext表示下一句话的单词数量， 将二者拼接得到句 子间上下文嵌入 4.根据权利要求3所述的事 件抽取方法， 其特 征在于， 步骤S2具体包括： S201： 将当前句子输入预训练语言模型中， 得到词嵌入矩阵、 词性嵌入矩阵、 实体嵌入 矩阵、 位置嵌入矩阵， 并借助于Stanford  Core NLP工具包得到句法依赖树， 并且根据步骤 S1判断出的事 件触发词得到事 件触发词在当前句子中所处位置； S202： 将步骤S201中得到的词 嵌入矩阵、 位置嵌入矩阵、 词性嵌入矩阵、 实体类型嵌入 矩阵作为双向长短时记忆网络BiLSTM的输入， 根据步骤S201得到的句法依赖树构建句法 图， 提取实例特 征， 并得到对应的候选论元； S203： 计算事 件触发词注意力加权特 征； S204： 将所述实例特 征、 所述事 件触发词注意力加权特 征求和作为综合特 征； S205： 根据所述候选论元和事件触发词的位置对步骤S204中得到的综合特征进行特征 聚合， 得到最终嵌入；权　利　要　求　书 1/2 页 2 CN 115392248 A 2S206： 将步骤S205得到的最终嵌入输入全连接层后， 输入softmax分类器， 判断候选触 发词的事 件类型。 5.根据权利要求 4所述的网络事 件抽取方法， 其特 征在于， 步骤S202中： 提取实例特征时， 将步骤S201中得到的词嵌入矩阵、 位置嵌入矩阵、 词性嵌入矩阵、 实 体类型嵌入矩阵输入双向长短时记 忆网络Bi LSTM， 得到每 个词的综合嵌入； 根据步骤S201中得到的句法依赖树构建句法图， 句子W的句法依赖树表示为有向图G＝ (V,E)， V和E分别表示结点和边的集合， 结点νi对应句子W中单词wi， 边(vi,vj)对应句法依赖 树中单词wi到单词wj的有向句法弧； 使用正向句法弧(along)、 反向句法弧((rev)、 自循环边((loop)三种类型作为边类型， 构建句法图如下， 其中(vi,vj)∈ ε表示该有向边属于句法图中， 其中ε表示句法图： 在更新结点i时， 采用MLP方式计算注意力得分， 先计算不考虑句法图下的注意力系数 eij＝a(Chi,Chj)， 其中a表示单层前馈神经网络计算， C为权重矩阵， hi表示节点i的嵌入， hj 表示节点j的嵌入， 然后利用句法图进行mask操作， 仅将注意力分配到结点i的邻居结点集 Ni上， 并使用softmax操作对邻居结点的注意力进行归一 化， 公式为： αij代表邻居节点的注意力， eij代表注意力系数， 在得到邻居结点的注意力后， 每个 结点 i的特征可用所有邻居结点的特 征进行更新， 结点更新计算如以下公式为： 其中h′i代表当前节点更新后的嵌入表示， σ 表示 一个sigmo id激活函数。 6.根据权利要求5所述的网络事 件抽取方法， 其特 征在于， 步骤S20 3中： 计算事件触发词注意力加权特 征， 使用Ber t得到句中各词的词嵌入M＝[m1,m2,…,mn]； 根据事件触发词和其他单词的嵌入向量计算注意力得分， 事件触发词嵌入向量为 mt、 其 他词嵌入向量 为mi， 采用内积方式计算 其他单词和事 件触发词语义上的相关性： 其中， 表示其它词的嵌入的均值， F表示对两个向量做内积的函数； 用softmax进行归一 化操作计算各 单词的注意力得分： 其中， n表示句子中单词的个数； 将通过内积计算后的事件触发词语义乘以注意力得分得到基于事件触发词注意力的 加权后的嵌入向量pi＝si·αi。权　利　要　求　书 2/2 页 3 CN 115392248 A 3