(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210758042.6 (22)申请日 2022.06.29 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 曹斌　陶晨伟　范菁　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 万尾甜　韩介梅 (51)Int.Cl. G06F 16/35(2019.01) G06K 9/62(2022.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于有监督对比学习的开放服务意图 检测方法 (57)摘要 本发明公开了一种基于有监督对比学习的 开放服务意图检测方法， 首先使用BERT进行语义 编码得到初始词向量表示， 然后利用标签信息通 过线性分类层和有监督对比学习表示层同时学 习， 获得丰富且有区分度的句向量特征表示。 表 示学习完成后， 该模型就变为下一步联合训练的 特征提取器。 为了获得更多的开放类事件文本帮 助训练， 使用数据增强方式Mix ‑up生成新的开放 类样本。 最后将获取的样本和合 成的样本同时输 入到具有两个分支的联合训练模型中进行训练 优化。 判断意图事件文本属于哪个已知类， 如果 不属于任何已知意图事件类， 就认 为它是开放类 意图事件。 本发 明构建的已知意图事件分类和开 放类意图检测检测方法具有推理速度快、 解释性 强、 准确率高的特点。 权利要求书2页 说明书7页 附图2页 CN 115098681 A 2022.09.23 CN 115098681 A 1.一种基于有监 督对比学习的开 放服务意图检测方法， 其特 征在于， 包括以下步骤： S1： 对原始数据集中的意图事 件文本分类， 将数据集分为 域内样本I ND和域外样本O OD； S2： 对数据集进行 数据预处 理， 删除文本中多余的空格和标点符号； S3： 将步骤S2预处 理得到的I ND样本进行BERT编码， 得到整个文本的句向量表示； S4： 基于步骤S3得到的句向量表示， 通过线性分类层， 利用交叉熵损失函数Softmax ‑ Loss来捕获同一类的特 征， 得到交叉熵损失 S5： 基于步骤S3得到的句向量表示， 使用有监督对比学习， 扩大不同类的特征差异和缩 小同一类的特 征差异， 得到监 督对比学习损失 S6： 基于步骤S4和步骤S5分别得到的交叉熵损失和监督对比学习损失， 相加得到微调 阶段的整体损失， 进行训练优化， 得到具有区分度的特 征提取器模型； S7： 基于步骤S2得到的预处理后的IND样本， 通过Mix ‑up操作构造出人工合成的OOD样 本； S8： 嵌入表示， 把已知IND样本、 已知OOD样本和步骤S7中人工合成的OOD样本这三部分 数据输入步骤S6得到的特 征提取器， 得到每 个样本的句嵌入向量表示； S9:多任务联合优化， 包括两个部分， 第一部分是多分类任务， 从步骤S8输入 的样本中 筛选出IND样 本， 利用SoftMax交叉熵损失进行优化， 得到任务损失； 第二部分是置信度学习 任务， 得到一个样本归属于新事件的置信度损失； 将两部分损失相加训练得到开放意图检 测模型。 2.根据权利要求1所述的基于有监督对比学习的开放服务意图检测方法， 其特征在于， 步骤S1所述的意图事件文本 分类， 具体为： 原始数据集中的意图事件文本都属于域内样本， 使用随机删除的方式， 删除一定比例的域内样本标签， 并把对应的意图事件文本重新标记 为域外样本； 得到剩下的域内样本和重新标记过的域外样本 。 3.根据权利要求1所述的基于有监督对比学习的开放服务意图检测方法， 其特征在于， 步骤S3具体为： 给定一个文本s， 对于文本中的每一个单词Ti输入到BERT模型中： xj＝mean‑pooling(BERT(CLS,T1,T2…,TN)) 其中CLS表示下游任务 的分类标签， N表示文本的长度， mean ‑pooling表示对BERT得到 的每个词的语义进行均值处 理， 最后得到xj表示整个文本的句向量表示。 4.根据权利要求1所述的基于有监督对比学习的开放服务意图检测方法， 其特征在于， 步骤S4具体为： 使用交叉熵损失函数优化BERT的参数， 为了学习每个事件类型的标签信息， 使用已知的标签信息作为先验知识来微调模 型， 并使用一个损失为Softmax ‑loss的线性分 类器， 得到交叉熵损失 5.根据权利要求1所述的基于有监督对比学习的开放服务意图检测方法， 其特征在于， 步骤S5具体为： 对于一个有C个类的多分类任务来说， 一个批次内包含M个样本， 表示为 其中di表示输入的事件文本， yi表示该事件文本所属的事件类型， 通过监督对 比学习得到该任务的监 督对比损失 权　利　要　求　书 1/2 页 2 CN 115098681 A 2其中A(i)＝{1, …,M}\{i}表示所有的锚点样本的集合， P(i)＝{p∈A(i):yi＝yp}是事 件标签为i的样本集合， τ是温度超参数， zi表示BERT模块得到的特征表示， za表示不同锚点 的特征表示， zp表示事件标签为 i的样本的特 征表示。 6.根据权利要求1所述的基于有监督对比学习的开放服务意图检测方法， 其特征在于， 步骤S7中， 通过Mix ‑up操作构造出人工合 成的OOD样 本的方法为： 合 成的OOD样 本xood是通过 对两个不同类别的已知类样本加权求和计算产生的： xood＝α *xi+(1‑α )*xj 其中xi和xj是来自不同IND事件类型 的两个事件文本的句向量表示， α 是一个从0到1的 均匀分布。 7.根据权利要求1所述的基于有监督对比学习的开放服务意图检测方法， 其特征在于， 步骤S9中所述的这两个部分接收相同的输入， 即来 自BERT的输出； 然后两个部分经过不同 的多层感知机MLP； 置信度学习任务的最后一层使用一个sigmoid激活函数在0 ‑1之间调整 置信度ci。 8.根据权利要求7所述的基于有监督对比学习的开放服务意图检测方法， 其特征在于， 步骤S9中的多分类任务具体为： 挑选出所有IND样 本， 然后使用交叉熵CE( …)来计算任务损 失 其中Li表示样本的真实标签， pi表示概率向量， n 为IND样本的数量。 9.根据权利要求7所述的基于有监督对比学习的开放服务意图检测方法， 其特征在于， 步骤S9中的置信度学习任务具体为： 利用置信度进行O OD检测： 其中ci是由sigmoid激活函数产生的置信度； 对于OOD样本， 用1减去ci， 得到目标置信度 c′i， 否则保留ci作为c′i； 然后使用c ′i的负似然对数 作为置信度损失训练完模型 后， 将归于0， 它使IND样本的ci接近于1， OOD样本的ci接近于0； 在实际应用中， 预 先 设定一个置信度阈值θ， 如果样本的置信度ci小于置信度阈值θ， 则将其认为是OOD样本， 反 之则为IND样本。权　利　要　求　书 2/2 页 3 CN 115098681 A 3