(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210620546.1 (22)申请日 2022.06.02 (71)申请人 重庆理工大 学 地址 401320 重庆市巴南区红光大道69号 (72)发明人 冯欣　张智先　兰利彬　明镝　 陈志　 (74)专利代理 机构 成都东唐智 宏专利代理事务 所(普通合伙) 51261 专利代理师 晏辉 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01)G06V 10/774(2022.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于类关系推理的濒危动物目标检测 方法 (57)摘要 本发明涉及目标检测技术领域， 尤其涉及一 种基于类关系推理的濒危动物目标检测方法。 该 方法建立了元学习器和基础检测器； 元学习器以 支撑图像为输入， 经过主干网络和池化层后， 经 过类关系推理模块得到类别原型； 将查询图像提 取特征， 得到特征图； 通过区域提案网络RPN预测 特征图中可能存在目标对象 的候选区域， 并利用 ROIAlign对 候选区域特征向量进行采样， 将候选 区域特征和类别原型输入特征聚合模块进行特 征调整聚合， 经过预测模块进行区域类别的预测 和边界框的修正回归。 本发明通过引入类关系推 理， 在类别判断和边界框回归之前通过聚合模块 来对类别原型和候选区域特征进行聚合， 可有效 在濒危动物样本稀缺场景 下的进行目标检测。 权利要求书2页 说明书8页 附图4页 CN 115019342 A 2022.09.06 CN 115019342 A 1.一种基于类关系推理的濒危动物目标检测方法， 其特 征在于， 包括以下步骤： 该方法建立了元学习器和基础检测器， 且所述元学习器和基础检测器共享同一个主干 网络； 元学习器以支撑 图像为输入， 经过主干网络的特征提取和池化层的池化后， 经过类关 系推理模块得到类别原型； 将查询图像输入到主干网络提取特征， 得到特征图； 通过 区域提案网络RPN预测特征图 中可能存在目标对象 的候选区域， 并利用ROI  Align对候选区域特征向量进 行采样， 将候选 区域特征和类别原型输入特征聚合模块进 行特征调整聚合， 经过基础检测器的预测模块对 聚合的结果分别进行区域类别的预测 和边界框的修 正回归。 2.根据权利要求1所述的一种基于类关系推理 的濒危动物目标检测方法， 其特征在于， 所述基础检测器采用FasterR ‑CNN检测器的结构； 所述元 学习器采用元 学习的架构。 3.根据权利要求1所述的一种基于类关系推理 的濒危动物目标检测方法， 其特征在于， 所述类关系推理过程如下： 在支撑图像的分支上构建原型图G＝{V,E,A}， V和E是一系列节点和边的集合， A为表示 节点之间关系的邻接矩阵； V由支撑图像经 过卷积网络得到的支撑特 征构成； 使用动态的图卷积来学习变化节点之间的动态相关性； 从预先训练的文本模型中计算每个类别名称对应词向量之间的余弦相似度， 如果两个 词向量嵌入相近， 那么它们就表现出较高的余弦相似度； 如果wi和wj分别表示类别i和j的词 向量嵌入表示， 两个词类别之间的语义相关性计算如下： 其中， A为NxN的矩阵， sij是i和j的的语义相关性， 该相关性的值作为邻接矩阵i行j列的 对应元素， T为矩阵的转置； 通过构造原型图G， 利用图卷积网络将所有节点特 征聚合到每 个邻域节点上； 使用如下 方法来定义图卷积过程： H(l+1)＝σ(AH(l)W(l)) 其中， l＝1,2,3,...为图卷积中层数的索引， H(l)表示第l层的输出， W(l)为第l层的可 学习矩阵， 对于第一层， H(0)＝f， σ(·)为非线性激活函数； A 表示为节点之间的邻接矩阵。 使用图卷积的类残差结构。 4.根据权利要求1所述的一种基于类关系推理 的濒危动物目标检测方法， 其特征在于， 所述特征聚合为从三个不同的维度上进行 特征的聚合调整， 聚合方式表示如下： 其中[·,·,·]表示通道级联， fqry表示查询图像 的特征输出； fcls表示类关系推理模 块。 5.根据权利要求1所述的一种基于类关系推理 的濒危动物目标检测方法， 其特征在于， 元学习器以支撑图像为输入， 经过主干网络的特征提取和池化层的池化后， 经过类关系推 理模块得到类别原型， 这 一训练过程中， 包括元训练和元微调两个阶段； 在元训练阶段， 通过特征提取器提取特征、 类关系推理、 特征聚合， 使用来自基类的大权　利　要　求　书 1/2 页 2 CN 115019342 A 2量注释数据； 在元微调阶段， 在基 类和需要检测的珍稀动物类别上训练模型； 在元微调的训练过程中， 为每 个基类和待检测的类别均采样K个样本 。 6.根据权利要求5所述的一种基于类关系推理 的濒危动物目标检测方法， 其特征在于， 在元训练和元微调阶段， 采用相同的损失函数， 定义如下： L＝Lrpn+Lcls+Lbox+Lmeta 其中， Lrpn是用于训 练区域提案网络以生成更高质量的候选区域， Lcls是分类损失函 数， Lbox是框回归损失函数， Lmeta是元损失函数； 使用元损失来进行约束， 避免候选区域与类原型聚合后的模糊预测， 定义如下： 其中， yi， 分别表示从图卷积之前的类特征 图卷积之后的类原型fcls得到的 预测值以及真实标签值； xi表示支撑集图像的预测结果。权　利　要　求　书 2/2 页 3 CN 115019342 A 3