(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210656656.3 (22)申请日 2022.06.10 (71)申请人 中国科学院软件研究所 地址 100190 北京市海淀区中关村南四街 4 号 (72)发明人 胡韵　何灏　朱庆猛　郑昌文　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 邱晓锋 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/216(2020.01) G06F 40/242(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) (54)发明名称 一种小型的融合中文词嵌入的命名实体识 别方法和系统 (57)摘要 本发明属于自然语 言处理领域， 特别是命名 实体识别领域， 具体涉及一种小型的融合中文词 嵌入的命名实体识别方法和系统。 现有的融合中 文词嵌入的命名实体识别方法， 存在模型的参数 较多， 运算时间过长的问题， 并不能很好的应用 到小型的移动设备上。 本发明主要包括四个模 块： 字符表示、 单词表示、 句子表示和句子解码， 首先句子中的字符通过字 符嵌入得到字符表示， 之后通过将句子和中文词嵌入进行匹配和BME的 单词映射， 得到单词表示， 然后我们将字符表示 和单词表示连接， 输入到GRU当中， 得到句子表 示， 最后对句子表示进行句子解码， 得到最终的 结果。 通过对于单词表示和句子表示的改进， 最 终实现缩小模型参数和 加快识别速度的要求。 权利要求书2页 说明书5页 附图1页 CN 115114923 A 2022.09.27 CN 115114923 A 1.一种小型的融合中文词嵌入的命名实体识别方法， 其特 征在于， 包括以下步骤： 将句子中的字符输入到预 先训练好的字符嵌入 模块中， 得到 字符表示； 将句子中由字符匹配到的单词转 化为稠密向量， 得到单词表示； 将字符表示和单词表示进行 连接， 利用GRU网络进行句子表示； 将句子表示进行解码， 得到命名实体识别结果。 2.根据权利要求1所述的方法， 其特征在于， 所述字符表示是稠密的向量， 代表字符的 语义信息 。 3.根据权利要求1所述的方法， 其特征在于， 所述将句子中由字符匹配到的单词转化为 稠密向量， 得到单词表示， 包括： 使用BME集合来表征匹配到的不同单词的位置， 之后通过位置矩阵将单词信息进行融 合， 得到单词表示。 4.根据权利要求3所述的方法， 其特征在于， 所述使用BME集合来表征匹配到的不同单 词的位置， 包括： 使用词嵌入中的词典来匹配句子， 对于句子 中的每一个字符c， 得到3个单词集合： 开始 集合B(c)， 中间集合M(c)， 结束集合E(c)； 开始集合包含句子中所有以字符c开头的匹配到 的单词， 中间集合包含句子中所有以字符c为中间的匹配到的单词， 结尾集合包含句子中所 有以字符c为结尾的匹配到的单词； 如果一个字符c在词典中没有相应的单词将其作为开 头、 中间或者结尾， 则在集 合中使用NONE来标识。 5.根据权利要求4所述的方法， 其特征在于， 所述通过位置矩阵将单词信息进行融合， 得到单词表示， 包括： 对于每个单词， 通过预训练词向量将其转化为一个稠密 向量， 之后通过加权的方式将 每个单词集 合映射到一个向量， 对于每 个字符对应的单词集 合S， 得到单词集 合的表示： 其中： z(w)表示单词w在数据集中出现的频率， v(S)表示得到的单词集 合的表示， Word_Embedding表示预训练的词向量， w表示单词集合中的单词， S表示匹配到的单词 集合； 对于所有的单词集合， 使用三个位置矩阵乘以对应单词集合的表示来得到所有单词集 合的表示， 即单词表示： xw＝WBv(B(c))+WMv(M(c))+WEv(E(c)) 其中， xw是单词表示； WB、 WM、 WE为位置矩阵， 分别表示训练的参数， 对于不同的位置信息 使用不同的训练参数； v(B(c))表示字符c得到的开始集合的表示； v(M(c))表示字符c得到 的中间集 合的表示； v(E(c) )表示字符c得到的结束集 合的表示。 6.根据权利要求1所述的方法， 其特征在于， 所述利用GRU网络进行句子表示， 是使用双 向GRU网络进行句子表示， 所述双向GRU网络包括一个前向的GRU网络和一个后向的GRU网权　利　要　求　书 1/2 页 2 CN 115114923 A 2络， 得到句子表示 为： ht＝Bi‑GRU([ht‑1； xt]) 其中， ht是当前时刻t的句子级别的字符表示， ht‑1是上一时刻的句子级别的字符表示， Bi‑GRU是双向的GRU， xt是当前时刻的字符表示和单词表示的连接 。 7.根据权利要求1所述的方法， 其特征在于， 所述将句子表示进行解码， 是利用句子表 示， 使用条件随机场CRF来建模标签之间的关系， 得到最终的预测标记即命名实体识别结 果。 8.一种小型的融合中文词嵌入的命名实体识别系统， 其特 征在于， 包括以下步骤： 字符表示模块， 用于将句子中的字符输入到预先训练好的字符嵌入模块中， 得到字符 表示； 单词表示模块， 用于将句子中由字符匹配到的单词转 化为稠密向量， 得到单词表示； 句子表示模块， 用于将字符表示和单词表示进行 连接， 利用GRU网络进行句子表示； 句子解码模块， 用于将句子表示进行解码， 得到命名实体识别结果。 9.一种电子装置， 其特征在于， 包括存储器和 处理器， 所述存储器存储计算机程序， 所 述计算机程序被配置为由所述处理器执行， 所述计算机程序包括用于执行权利要求 1～7中 任一权利要求所述方法的指令 。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储计算机程 序， 所述计算机程序被 计算机执 行时， 实现权利要求1～7中任一权利要求所述的方法。权　利　要　求　书 2/2 页 3 CN 115114923 A 3