(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210507403.X (22)申请日 2022.05.11 (71)申请人 福建农林大 学 地址 350002 福建省福州市仓山区上 下店 路15号 (72)发明人 陈日清　刘鑫　魏丽芳　扬长才　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 张灯灿　蔡学俊 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 基于偏好引导过滤的深度学习图像特征匹 配方法及系统 (57)摘要 本发明涉及一种基于偏好引导过滤的深度 学习图像特征匹配方法， 包括以下步骤： 步骤1： 对于给定的图像对 I和I'， 采用SIFT算法建立初 始特征匹配集 S； 步骤2： 通过偏好引 导过滤网络 进行误匹配剔除， 得到匹配为内点的概率集 W； 步 骤3： 将步骤2得到的概率集 W视为权重集， 通过加 权八点算法估计本质矩阵； 步骤4： 根据步骤3得 到的本质矩阵恢复准确的相对姿态。 该方法及系 统有利于提高图像特 征匹配的准确性。 权利要求书3页 说明书8页 附图4页 CN 114743032 A 2022.07.12 CN 114743032 A 1.一种基于偏好引导过 滤的深度学习图像特 征匹配方法， 其特 征在于， 包括以下步骤： 步骤1： 对于给定的图像对I和I ′， 采用SIFT算法建立初始特 征匹配集S； 步骤2： 通过偏好引导过 滤网络进行误匹配剔除， 得到匹配为内点的概 率集W； 步骤3： 将步骤2得到的概 率集W视为权重集， 通过加权八点 算法估计本质矩阵 步骤4： 根据步骤3得到的本质矩阵恢复准确的相对姿态。 2.根据权利要求1所述的基于偏好引导过滤的深度学习图像特征匹配方法， 其特征在 于， 步骤1包括以下步骤： 步骤1.1： 对于给定的两幅具有相同或相似场景的图像对I和I ′， 通过SIFT算法在图像 对I和I′中提取关键点 坐标和对应的特 征描述子： ； K， D， K′， D′＝SIFT(I， I ′) 其中， K和K ′分别表示两幅图像的关键点坐标， D和D ′是其对应的特征描述子， SIFT()表 示SIFT算法； 步骤1.2： 根据特 征描述子的最近邻相似性原则， 建立初始特 征匹配集S： 其中， NCC()表示最近邻搜索算法； si表示第i对匹配， N表示匹配的数量， 表示特 征匹配集的维度， 其中4表示坐 标维度， k＝(ui， vi)和k′＝(u′i， v′i)分别表示si在图像对I和 I′的归一化后的关键点 坐标。 3.根据权利要求1所述的基于偏好引导过滤的深度学习图像特征匹配方法， 其特征在 于， 步骤2包括以下步骤： 步骤2.1： 将初始特征匹配集S作为偏好引导过滤网络的输入， 使用一个分组残差注意 模块GRA处 理， 得到初始特 征匹配的偏好 性分数 步骤2.2： 对于得到的初始特征匹配偏好性分数ps1， 根据其值的大小提取前 个匹配， 得到一个 候选匹配 集 其中 将候选匹配 集 作为下一个GRA模块的输入， 使 用下一个GRA模块处 理， 得到候选匹配的偏好 性分数 步骤2.3： 将偏好性分数ps1和ps2相加， 得到偏好引导过滤网络用于匹配分类的偏好性 分数ps， 并计算相应的内点 概率集。 4.根据权利要求3所述的基于偏好引导过滤的深度学习图像特征匹配方法， 其特征在 于， GRA模块包括两个多层感知器、 六个 GRA块和一个顺序可获得块OA； 输入通过一个多层感 知器升维， 获得特征 然后将获得 的特征依次通过三个GRA块、 一个OA块和三个 GRA块进行处 理， 最后一个GRA块的输出通过另一个多层感知器降维， 最后输出偏好 性分数； GRA块的处 理过程包括以下步骤： 步骤2.1.1： 对于输入特征映射 其中C和N分别是通道和匹配的数量， 将特 征映射沿其通道维度均匀地划分成g组， 记为xi， i∈{1， 2， ...， g}； 每个特征映射子集 具有相同的通道和空间大小； 步骤2.1.2： 对第一个特征映射子集x1应用空间注意力操作产生空间上的关系； 沿着其权　利　要　求　书 1/3 页 2 CN 114743032 A 2通道维度采用平均池化和最大池化操作去聚合特征映射子集x1的通道信息， 然后将其连接 起来生成一个高效的空间特 征 其公式如下： Fs＝concat(Avg Pool0(x1)， Max Pool0(x1)) 其中， concat()表示沿通道 维度的连接操作； AvgPool0()和MaxPool0()分别表示沿着 特征第0维度的平均池化操作和最大池化操作； 步骤2.1.3： Fs分别通过一个MLP层， 一个批正则化层和一个sigmoid激活函数， 得到空间 注意力权 重 其公式如下： ws＝SA(x1)＝σ(BN(MLP0(Fs))) 其中， MLP0()表示一个尺寸为 的MLP层， 用来减少特征通道维度到1， BN()表示 批正则化层， σ()为sigmo id激活函数， SA()表示整个空间注意力操作； 步骤2.1.4： 每个特征映射子集都被一个对应的PointCN块所处理， 记为PCNi()； 同时， 使用求得的空间注意力权重wx去增强每个输入特征分组的内点表示能力； 此外， 为了增加 子集输出特征表示的多样性， 利用一个分层类似残差的连接方式来连接所有的特征映射子 集； 用yi表示PCNi()的输出， 其公式如下： 其中， 表示逐元素相乘； 利用分组操作从不同方面探索上 下文信息； 步骤2.1.5： 将所有的特征映射子集沿通道维度连接起来， 得到输出特征y， 其公式如 下： y＝concat(y1， y2， ...， yg) 步骤2.1.6： 通过对输出特征y进行通道注意力操作去探索其通道上的关系； 主要采用 平均和最大池化操作去聚合输出特征y的空间信息， 然后 将它们相加， 生成一个高效的通道 特征 其公式如下： Fc＝AvgPool12(y)+MaxPo ol12(y) 其中， AvgPool12()和MaxPool12()分别指沿着特征空间维度， 即第1和第2维度的平均池 化操作和最大池化操作； 步骤2.1.7： 通过一个瓶颈结构来计算 通道注意力权 重 其公式如下： wc＝CA(y)＝σ(BN(MLP2(ReLU(BN(MLP1(Fs))))))) 其中， MLP1()和MLP2()分别表示尺寸为 和 的两个MLP层， 用来学 习通道权重和减少参数开销； CA()表示整个通道注意力操作， 通道注意力的权重被用来增 强特征y重要通道的表示能力； 步骤2.1.8： 与输入特 征映射x进行 逐元素和操作去得到 输出特征Y， 用函数表述如下： 其中， Y是 经过分组残差注意力操作得到的具有强表示能力的输出 特征； 步骤2.1.9： 为了增加特征映射子集的交流并融合它们彼此的信息， 引入ShuffleNet提 出的通道洗牌操作， 得到一个新的特 征映射Yout， 用函数表示如下：权　利　要　求　书 2/3 页 3 CN 114743032 A 3