(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210672682.5 (22)申请日 2022.06.14 (71)申请人 中国民用航空飞行 学院 地址 618307 四川省德阳市广汉市南昌路 四段46号 (72)发明人 王欣　孟天宇　许雅玺　刘晓东　 潘磊　 (74)专利代理 机构 成都东恒知盛知识产权代理 事务所 (特殊普通合伙) 51304 专利代理师 何健雄 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/284(2020.01) G06F 40/30(2020.01)G06N 3/04(2006.01) (54)发明名称 一种基于SKEP-ERNIE-BiGRU网络模型结构 的情感分类方法 (57)摘要 本发明公开了一种基于SKEP ‑ERNIE‑BiGRU 网络模型结构的情感分类方法， 包括如下步骤： 数据预处理及构建数据集； 对数据集中的训练集 进行简单数据增广处理， 形成最终数据集； 对最 终数据集中的同一批次每条样本分词处理为 token序列， 并以 ‘[CLS]’标识开头表示每句话的 起始，‘[SEP]’标识结尾表示每句话的结尾； 构建 SKEP‑ERNIE‑BiGRU网络模型结构； SKEP ‑ERNIE‑ BiGRU模型训练及参数调优， 得到最优模型； 将测 试集数据输入到最优模型中， 输出情感分类。 本 发明对输入数据进行清洗及emoji表情转义以增 强文本情感特征， 对每条样本中随机单词进行简 单数据增广， 使得模型能充分学习语义情感特 征。 结果表明提出的模型在二元情感分类和三元 情感分类上准确率较传统模型分别有4％和12％ 左右的提升 。 权利要求书2页 说明书16页 附图3页 CN 115292485 A 2022.11.04 CN 115292485 A 1.一种基于SKEP ‑ERNIE‑BiGRU网络模型结构的情感分类方法， 其特征在于， 所述分类 方法包括如下步骤： S1、 数据预处 理及构建数据集； S2、 对数据集中的训练集进行简单 数据增广处 理， 形成最终数据集； S3、 对最终数据集中的同一批次每条样本分词处理为token序列， 并以 ‘[CLS]’标识开 头表示每句话的起始， ‘[SEP]’标识结尾表示每句话的结尾； S4、 构建SKEP ‑ERNIE‑BiGRU网络模型 结构； S5、 SKEP‑ERNIE‑BiGRU模型训练及参数调优， 得到最优 模型； S6、 将测试集数据输入到最优 模型中， 输出情感分类。 2.根据权利要求1所述的基于SKEP ‑ERNIE‑BiGRU网络模型结构的情感分类方法， 其特 征在于： 所述步骤S1的数据预处理包括： 对原始数据文本对应情绪标签， 情绪标签分为负 向、 正向和中性 三种， 分别对应 类别0、 类别1、 类别2； 对文本中包含的emoji表情进行转义处理， 将其转换为文本描述， 增强原始文本的情 感 特征； 将等同于停用词一类的无用信 息进行数据清洗， 并将每条样本中大写字母全部转换为 小写， 降低模型的学习成本； 所述步骤S1的构建数据集是指： 将数据按8： 2的比例进行划分训练集和 测试集。 3.根据权利要求1所述的基于SKEP ‑ERNIE‑BiGRU网络模型结构的情感分类方法， 其特 征在于： 所述简单数据增广 处理具体包括： 对训练集数据每条样本中部分随机单词进行同 义词替换、 插 入同义词、 删除单词、 交换 单词位置， 同时删除每条样本中所有标点符号。 4.根据权利要求1所述的基于SKEP ‑ERNIE‑BiGRU网络模型结构的情感分类方法， 其特 征在于： 所述步骤S3中同一批次样本长度需一致， 取送入模型的每一个批次中的最大样本 长度为阈值， 对于不足该长度的样本， 在右侧进行填充。 5.根据权利要求1所述的基于SKEP ‑ERNIE‑BiGRU网络模型结构的情感分类方法， 其特 征在于： 所述SKEP ‑ERNIE‑BiGRU网络模型结构包括基于SKEP ‑ERNIE预训练模型的输入层、 基于BiGRU的特 征提取层、 以及由Dense层和Softmax层组成的分类输出层； 所述SKEP ‑ERNIE预训练模型具体是： 将情感知识增强预训练SKEP与预训练语言模型 ERNIE2.0相结合， 加载ERNIE2.0预训练模型的权重后再次进行情感知识增强预训练的模 型； 所述ERNIE2.0构 建了三种类型的无监督学习任务： 对句子中词 汇进行预测的词法层任 务、 对多个句子进行 结构重建的语法层任务、 判断句子间存在逻辑关系的语义层任务； 所述BiGRU是由两个单向且方向相反的GRU 组成， 输出由两个GRU共同决定， 公式表达如 下： 权　利　要　求　书 1/2 页 2 CN 115292485 A 26.根据权利要求1所述的基于SKEP ‑ERNIE‑BiGRU网络模型结构的情感分类方法， 其特 征在于： 所述 步骤S5具体包括如下步骤： S51、 将训练集中经 过简单数据增广后的数据输入到SKEP ‑ERNIE‑BiGRU网络模型中； S52、 设置模型参数后进行训练， 训练过程中每迭代一次， 对模型进行一次性能评价并 保存模型参数； S53、 通过迭代进行模型参数调优， 得到最优 模型。 7.根据权利要求6所述的基于SKEP ‑ERNIE‑BiGRU网络模型结构的情感分类方法， 其特 征在于： 所述的模 型参数包括： 简单数据增广次数、 简单数据增广比例、 BiGRU层数、 BiGRU单 元数、 学习率、 学习率衰退率、 批处理大小、 批样本限长、 迭代 次数； 所述性能评价的评价指 标包括： 精确率、 召回率、 F值、 准确率、 宏平均F1值。 8.根据权利要求6所述的基于SKEP ‑ERNIE‑BiGRU网络模型结构的情感分类方法， 其特 征在于： 所述通过迭代后最优模型的模型参数： 简单数据增广次数为1、 简单数据增广比例 为30％、 BiGRU层数为3、 BiGRU单元数为300、 学习率为1E ‑5、 学习率衰退率为0.3、 批处理大 小为32、 批样本限长为95、 迭代次数为10 。 9.根据权利要求1所述的基于SKEP ‑ERNIE‑BiGRU网络模型结构的情感分类方法， 其特 征在于： 所述步骤S6具体包括： 将测试集数据输入到SKEP ‑ERNIE预训练模型中进行字符编 码生成具有情感信息的词向量， 而后再经过基于BiGRU的特征提取层 进一步提取情感特征， 最后送入Dense层经 过Softmax层进行情感分类。权　利　要　求　书 2/2 页 3 CN 115292485 A 3