(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210531185.3 (22)申请日 2022.05.16 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 杨森　项进喜　张军　韩骁　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 祝亚男 (51)Int.Cl. G06V 10/70(2022.01) G06N 20/00(2019.01) G06V 10/762(2022.01) G06V 10/74(2022.01) G06V 10/46(2022.01)G06V 10/34(2022.01) G06F 16/535(2019.01) G06F 16/583(2019.01) (54)发明名称 图像编码器的训练方法、 装置、 设备及 介质 (57)摘要 本申请公开了一种图像编码 器的训练方法、 装置、 设备及介质， 属于人工智能领域。 该方法包 括： 获取第一样本组织图像； 将第一样本组织图 像分别进行数据增强， 得到第一图像和第二图 像； 将第一图像输入第一图像编码器， 得到第一 特征向量； 将第二图像输入第二图像编码器， 得 到第二特征向量； 将不同的第一样 本组织图像的 多个第一特征向量进行聚类， 得到多个第一聚类 中心； 将多个第一聚类中心中与第二特征向量相 似值最大的特征向量， 确定为正样本向量； 将第 一其余特征向量确定为负样本向量； 基于第二特 征向量、 正样本向量和负样本向量， 生成第一群 组损失函数； 基于第一群组损失函数， 训练第一 图像编码器和第二图像编码器 。 权利要求书4页 说明书29页 附图10页 CN 115115856 A 2022.09.27 CN 115115856 A 1.一种图像编码器的训练方法， 其特 征在于， 所述方法包括： 获取第一样本组织图像； 将所述第一样本组织图像进行数据增强， 得到第一图像； 将所述第一图像输入第一图 像编码器， 得到第一特 征向量； 将所述第一样本组织图像进行数据增强， 得到第二图像； 将所述第二图像输入第二图 像编码器， 得到第二特 征向量； 将所述第一特征向量确定为用于对比学习的对比向量， 将所述第 二特征向量确定为用 于对比学习的锚向量； 将不同的所述第 一样本组织图像的多个第 一特征向量进行聚类， 得到多个第 一聚类中 心； 将所述多个第一聚类中心中与所述第二特征向量之间的相似值最大 的特征向量， 确定 为所述多个第一特征向量中的正样本向量； 将第一其余特征向量确定为所述多个第一特征 向量中的负样本向量， 所述第一其余特征向量指所述多个第一特征向量中除与所述第二特 征向量之间的相似值 最大的特 征向量之外的特 征向量； 基于所述第二特征向量和所述多个第一特征向量中的正样本向量， 生成第一子函数； 基于所述第二特征向量和所述多个第一特征向量中的负样本 向量， 生成第二子函数； 基于 所述第一子函数和所述第二子函数， 生成第一群组损失函数； 基于所述第一群组损 失函数， 训练所述第一图像编码器和所述第二图像编码器； 将所 述第二图像编码器确定为 最终训练得到的图像编码器。 2.根据权利要求1所述的方法， 其特 征在于， 所述将所述第一图像输入第一图像编码器， 得到第一特 征向量， 包括： 将所述第一图像输入所述第一图像编码器， 得到第一中间特征向量； 将所述第一中间 特征向量输入第一MLP， 得到所述第一特 征向量； 所述将所述第二图像输入第二图像编码器， 得到第二特 征向量， 包括： 将所述第二图像输入所述第二图像编码器， 得到第二中间特征向量； 将所述第二中间 特征向量输入第二MLP， 得到所述第二特 征向量。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将所述第二特征向量确定为用于对比学习的对比向量， 将所述第 一特征向量确定为用 于对比学习的锚向量； 将不同的所述第 一样本组织图像的多个第 二特征向量进行聚类， 得到多个第 二聚类中 心； 将所述多个第二聚类中心中与所述第一特征向量之间的相似值最大 的特征向量， 确定 为所述多个第二特征向量中的正样本向量； 将第二其余特征向量确定为所述多个第二特征 向量中的负样本 向量， 其中， 所述第二其余特征向量指所述多个第二特征向量中除与所述 第一特征向量之间的相似值 最大的特 征向量之外的特 征向量； 基于所述第一特征向量和所述多个第二特征向量中的正样本向量， 生成第三子函数； 基于所述第一特征向量和所述多个第二特征向量中的负样本 向量， 生成第四子函数； 基于 所述第三子函数和所述第四子函数， 生成第二群组损失函数； 基于所述第二群组损 失函数， 训练所述第一图像编码器和所述第二图像编码器； 将所 述第一图像编码器确定为 最终训练得到的图像编码器。 4.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括：权　利　要　求　书 1/4 页 2 CN 115115856 A 2根据所述第 一图像编码器和所述第 二图像编码器之间共享的参数， 采用加权方式对第 三图像编码器的参数进行 更新。 5.一种全视野病理切片的搜索方法， 其特征在于， 所述方法由计算机设备执行， 所述计 算机设备运行有权利要求1至4任一方法训练得到的图像编码器， 所述方法包括： 获取全视野病理切片， 以及将所述全视野病理切片裁 剪为多张组织图像； 通过所述图像编码器， 生成所述多张组织图像的多个图像特 征向量； 通过对所述多个图像特征向量进行聚类， 从所述多张组织图像中确定出多张关键图 像； 基于所述多张关键 图像的图像特征向量， 从数据库查询得到多个候选 图像包， 所述多 个候选图像包与所述多张关键图像一一对应， 任意一个所述候选图像包容纳 有至少一张候 选组织图像； 根据所述 候选图像包的属性筛 选所述多个候选图像包， 得到多个目标图像包； 将所述多个目标图像包内的多个目标组织图像所属的全视野病理切片， 确定为最终的 搜索结果。 6.根据权利要求5所述的方法， 其特征在于， 所述通过对所述多个图像特征向量进行聚 类， 从所述多张组织图像中确定出多张关键图像， 包括： 将所述多张组织图像的多个图像特 征向量进行聚类， 得到多个第一类簇； 将所述多个第一类簇的多个聚类中心分别确定为所述多张关键图像的多个图像特征 向量。 7.根据权利要求6所述的方法， 其特 征在于， 所述方法还 包括： 针对所述多个第 一类簇中的目标第 一类簇， 基于所述目标第 一类簇对应的多张组织图 像在各自所属的全视野病理切片的位置特 征， 聚类得到多个第二类簇； 所述将所述多个第一类簇的多个聚类中心分别确定为所述多张关键图像的多个图像 特征向量， 包括： 针对所述多个第 一类簇中的目标第 一类簇， 将所述目标第 一类簇包含的多个第 二类簇 对应的多个聚类中心确定为所述关键图像的图像特 征向量； 其中， 所述目标第一类簇为所述多个第一类簇中的任意 一个。 8.根据权利要求5至7任一所述的方法， 其特征在于， 所述根据 所述候选图像包的属性， 筛选所述多个候选图像包， 得到多个目标图像包， 包括： 根据所述候选 图像包具有的诊断类别数量， 筛选所述多个候选 图像包， 得到所述多个 目标图像包。 9.根据权利要求8所述的方法， 其特征在于， 所述根据所述候选图像包具有的诊断类别 数量， 筛选所述多个候选图像包， 得到多个目标图像包， 包括： 针对所述多个候选图像包中的第 一候选图像包， 基于所述第 一候选图像包中的至少一 张候选组织图像与所述关键图像的余弦相似度、 至少一个诊断类别 在所述数据库中的发生 概率和所述至少一张候选组织图像的诊断类别， 计算所述候选图像包的熵值； 其中， 所述熵 值用于衡量所述第一候选图像包对应的诊断类别的数量， 所述第一候选图像包为所述多个 候选图像包中的任意 一个； 筛选所述多个候选图像包， 得到熵值低于熵值阈值的所述多个目标图像包。权　利　要　求　书 2/4 页 3 CN 115115856 A 3