(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210726176.X (22)申请日 2022.06.24 (71)申请人 中国医学 科学院北京协和医院 地址 100730 北京市东城区帅府园一 号 申请人 北京安妮福克斯信息咨询有限公司 (72)发明人 张锋　程振宁　陈婕卿　曾可　 姜会珍　杨鲤银　 (74)专利代理 机构 石家庄隆康知识产权代理事 务所(普通 合伙) 13140 专利代理师 马家亮 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/30(2020.01) G06F 16/35(2019.01) G06N 3/04(2006.01) (54)发明名称 一种基于混合神经网络的事 件抽取方法 (57)摘要 本发明公开了一种基于混合神经网络的事 件抽取方法， 具体涉及自然语言文本处理技术领 域， 包括步骤一： 对原始文本进行数据预处理， 并 对原始文本进行分句， 得到事件句， 再对事件句 进行分词、 命名体识别， 并将事件句序列转换为 词向量的形式； 步骤二： 将以词向量表示的事件 句序列传入到双向长短时记忆网络， 即 （前向和 后向两个子LSTM网络） ， 再利用BERT模型来捕捉 字级别的语义特征。 本发明利用BERT模型来解决 一词多义的问题， 且充分考虑了卷积神经网络有 效提取文本局部特征与BILSTM网络提取文本全 局特征的优势， 以及文本在上下文语义中的信 息， 有效提取了文本的特征。 模糊上下文语义的 情况被解决， 提高了事 件抽取的效果。 权利要求书1页 说明书5页 附图3页 CN 115169348 A 2022.10.11 CN 115169348 A 1.一种基于混合神经网络的事 件抽取方法， 其特 征在于， 包括如下步骤： 步骤一： 对原始文本进行数据预处理， 并对原始文本进行分句， 得到事件句， 再对事件 句进行分词、 命名体识别， 并将事 件句序列转换为词向量的形式； 步骤二： 将以词向量表示的事件句序列传入到双向长短时记忆网络， 即(前向和后向两 个子LSTM网络)， 再利用BERT模 型来捕捉字级别的语义特征， 并将其转换成高维的动态字向 量； 步骤三： 将步骤二中BERT输出生成的动态字向量表示输入至BILSTM网络， 以获取语义 信息， 再输入至 CNN网络进行 上下文学习， 以获取全局特 征和局部特征； 步骤四： 利用softmax作为分类器来对每个候选触发词进行分类， 判断该事件所属类 型。 步骤五： 对BI LSTM网络和CN N网络上下文学习得到的测试 数据进行事 件的预测及提取。 2.根据权利要求1所述的一种基于混合神经网络的事件抽取方法， 其特征在于： 所述步 骤一中在得到事件句后根据标注的事件信息， 将事件句进行序列标注， 触发词根据其类型 进行标注， 非触发词标注为无类别， 得到事件句序列， 并将事件句序列以词向量的形式进 行 表述。 3.根据权利要求1所述的一种基于混合神经网络的事件抽取方法， 其特征在于： 所述步 骤二BERT层中， 在Embedding过程中， 将给定的由n个字组成的中文句子S＝{w1， w2， w3， w4， ...， wn}每一个字wi转化成一个维度为768x1的字向量ei即E＝{e1， e2， e3， e4， ...， en}。 4.根据权利要求1所述的一种基于混合神经网络的事件抽取方法， 其特征在于： 所述步 骤三在BILSTM层中， 动态字向量依次生 成后进行点乘与累加操作， 得到注 意力层的输出， 并 依据权值大小给隐藏层输出分配相 应的注意力 资源， 构成特征向量的加权语义向量表示， 增强病历文本序列的特 征表达。 5.根据权利要求1所述的一种基于混合神经网络的事件抽取方法， 其特征在于： 所述步 骤三在BILSTM网络中， 由干BILSTM网络包含前 向和后向两个子LSTM网络， 分别向前和向后 传递每个LSTM需要经过网络的前向传 播公式， 其中ht是此时刻的输入， ht‑1是上一时刻的记 忆输出， Wf、 Wi、 Wc、 Wo分别是模型的参数。权　利　要　求　书 1/1 页 2 CN 115169348 A 2一种基于混合神经 网络的事件抽取方 法 技术领域 [0001]本发明涉及自然语言文本处理技术领域， 更具体地说， 本发明涉及一种基于混合 神经网络的事 件抽取方法。 背景技术 [0002]随着医疗大数据的不断普及和电子病 历的不断进步， 越来越多的医院开始使用电 子病历记录患者病情， 这导致医疗保健中的数据生成率越来越高。 中国病历 中包含的知识 和发现受到了广泛关注， 但大量的电子病历对医学信息的整理提出了挑战； 目前， 文本信息 挖掘已经成为热门技术和需求热点。 在这种现象下， 事件提取(EE)已成为医学诊断中正确、 快速收集患者信息的核心， 为医学研究事业开辟了新的前景。 事件提取是自然语言处理的 一项基本任务。 其 目的是从无序信息中提取用户感兴趣的事件， 并以有序的形式呈现给用 户。 [0003]医院的信息化系统发展迅速， 出现了大量的电子病历， 如何对这些电子病历进行 结构化处 理研究成了亟 待研究的问题； [0004]目前， 数据集数据结构复杂且多样， 而在中文病历文本挖掘和利用方面， 以往的研 究大都缺 乏对医学文本信息的全局特征和局部特征 的协同考虑。 特征 的捕捉次数不够， 事 件提取的效果不太好， 故基于上述问题， 为此我们设计这样一种基于混合神经网络的事件 抽取方法， 来解决上述问题。 [0005]在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解， 因此它 可以包括 不构成对本领域普通 技术人员已知的现有技 术的信息 。 发明内容 [0006]为了克服现有技术的上述缺陷， 本发明的实施例提供一种基于混合神经网络的事 件抽取方法， 本发明所要解决的技术问题是： 研究中缺 乏对医学文本信息的全局特征和局 部特征的协同考虑的问题。 [0007]为实现上述目的， 本发明提供如下技术方案： 一种基于混合神经网络 的事件抽 取 方法， 包括如下步骤： [0008]步骤一： 对原始文本进行数据预处理， 并对原始文本进行分句， 得到事件句， 再对 事件句进行分词、 命名体识别， 并将事 件句序列转换为词向量的形式； [0009]步骤二： 将以词向量表示的事件句序列传入到双向长短时记忆网络， 即(前向和后 向两个子LSTM网络)， 再利用BERT模 型来捕捉字级别的语义特征， 并将其转换成高维的动态 字向量。 [0010]步骤三： 将步骤二中BERT输出生成的动态字向量表示输入至BILSTM网络， 以获取 语义信息， 再输入至 CNN网络进行 上下文学习， 以获取全局特 征和局部特征。 [0011]步骤四： 利用softmax作为分类器来对每个候选触发词进行分类， 判断该事件所属 类型。说　明　书 1/5 页 3 CN 115169348 A 3