(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210528575.5 (22)申请日 2022.05.16 (71)申请人 扬州大学 地址 225009 江苏省扬州市大 学南路88号 (72)发明人 孙进　谢文涛　周威　汪和平　 马昊天　雷震霆　梁立　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 董旭东　季雯 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/33(2017.01) G06T 7/11(2017.01) G06T 5/50(2006.01) G06V 20/05(2022.01)G06V 10/28(2022.01) G06V 10/60(2022.01) G06V 10/46(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/141(2022.01) G06K 9/62(2022.01) G06F 17/10(2006.01) (54)发明名称 集成亮度区域信息的特征点匹配的水下图 像拼接方法 (57)摘要 本发明公开了集成亮度区域信息的特征点 匹配的水下图像拼接方法， 包括： 1） 水下图像亮 度区域的提取； 2） 集成亮度区域信息的特征点匹 配； 2.1） 基于亮度显著区域的水下图像粗匹配； 2.2） 基于尺度不变特征变换算法的水下图像精 匹配； 3） 利用加权融合方法完成图像拼接。 本发 明针对水下图像质量较差的问题， 在传统的尺度 不变特征变换 （SIFT） 算法特征点匹配之前加入 了基于亮度显著区域的粗匹配， 符合水下图像整 体偏暗容易区分出亮度区域的特点， 弥补了水下 图像特征检测困难且不稳定的缺陷， 提升了水下 图像拼接的质量。 权利要求书3页 说明书8页 附图1页 CN 114913071 A 2022.08.16 CN 114913071 A 1.一种集成亮度区域信息的特征点匹配的水下图像拼接方法， 其特征在于， 包括以下 步骤： 步骤1)水 下图像亮度区域的提取； 步骤2)集成亮度区域信息的特 征点匹配； 步骤2.1)基于亮度显著区域的水 下图像粗匹配； 步骤2.2)基于尺度不变特 征变换算法的水 下图像精匹配； 步骤3)利用加权融合方法完成图像拼接 。 2.根据权利要求1所述的集成亮度区域信息的特征点匹配的水下图像拼接方法， 其特 征在于， 所述步骤1)具体包括： 基于两个特征提取两幅图片高度显著区域； 在人工光源的辅 助下获取 水下图像， 亮度显著区具有高亮度和连通 性两个特 征； 针对高亮度特征， 首先得到水下图像的灰度图， 设置亮度阈值， 当灰度值高于该亮度阈 值则取1， 低于该亮度阈值取0， 即所获取的亮度显著疑似区域Sh中的像素灰度值满足式 (1)， 其中Y(x,y)为水下图像在坐标(x,y)处的灰度 值， m为图像中像素灰度 最大值， L为环境 光强， 图像中所有满足式(1)的像素点构成了亮度显著疑似区域Sh； 针对连通性特征， 根据像素灰度值， 将图像 中灰度值接近的像素划为相同类别， 求解式 (2)所示的最优化目标函数： 式中， 类别数目N＝8， Ii是图像中的像素， Ck为聚类中心， 初始值在图像中等间隔选取， 得到分类结果， 选中最亮类别对应区域， 该区域为Sc， 将该区域所有像素设为1， 其余区域为 0； 综合考虑亮度区域的高亮度和连通性两个特征， 得到亮度区域的像素集合S， 如式(3) 所示： S＝{I(x,y)|Sh(x,y)＝1&Sc(x,y)＝1}                 (3) 其中， S表示亮度区域， I(x,y)表示亮度区域中坐标(x,y)处的像 素值， Sh(x,y)表示区域 Sh中坐标(x,y)处的像素值， Sc(x,y)表示区域Sc中坐标(x,y)处的像素值； 通过该方法分别 提取出待拼接的两幅图像的亮度显著区域SA,SB； 如果至少有一张图片未提取到亮度显著区域， 则先对水下图像进行图像预处理， 然后 直接执行步骤2.2)。 3.根据权利要求1所述的集成亮度区域信息的特征点匹配的水下图像拼接方法， 其特 征在于， 所述步骤2.1)具体包括： 由步骤1)得到了两幅图像亮度显著区域SA,SB， 基于图像亮 度显著区域 粗匹配过程如下： 在两幅待拼接图像中， 分别用SA_hb表示图像A的某个亮度显著区域， 用SB_hb表示图像B中 的某个亮度显著区域， 通过公式(4)可以得到 两幅图像所选亮度显著区域配准相关度 μ，权　利　要　求　书 1/3 页 2 CN 114913071 A 2其中， 和 分别表示图片A和B的像素灰度平均值， SA_hb(x,y)表示图片A亮度显 著区域SA_hb中坐标(x,y)对应的像素灰度值， SB_hb(x,y)表示图片B亮度显著区域SB_hb中坐标 (x,y)对应的像素灰度值； exp( ‑(Nb/Ns))为权值， Nb为待配准两亮度区域中面积较大的一方 的像素个数， Ns为待配准两亮度区域中面积较小的一方的像素个数； 假设图片A所提取m个亮度显著区域， 分别表示为SA1,...,SAm； 图片B所提取n个亮度显著 区域， 分别表示为SB1,...,SBn； 采用式(4)分别对图片A的m个亮度显著区域以及图片B的n个 亮度显著区域分别求解配准相关度μ， 选取配准相关度μ最大值所对应的两个亮度显著区 域， 即为图像A和图像B所对应配准的亮度显著区域， 将其余区域剔除， 完成基于亮度显著区 域水下图像粗匹配。 4.根据权利要求1所述的集成亮度区域信息的特征点匹配的水下图像拼接方法， 其特 征在于， 所述 步骤2.2)具体包括： 1)尺度空间中的特征检测： 从水下图像中搜索尺度空间中所有可能尺度的稳定特征， 对输入图像进行 卷积操作， L(x,y, σ )＝G(x,y, σ )*I(x,y)                      (5) 其中G(x,y, σ )是高斯卷积核， I(x,y)表示原始图像； 图像的尺度空间D(x,y, σ )是在卷 积图像L(x,y, σ )的基础上 结合高斯差值操作得到， 如下式所示， D(x,y, σ )＝(G(x,y,kσ ) ‑G(x,y, σ ) )*I(x,y)＝ L(x,y,kσ ) ‑L(x,y, σ )        (6) 检测邻域内的局部极大值和极小值， 从而识别出 水下图像的潜在极值 点； 2)关键点定位： 对从水下图像 中提取的尺度空间中的候选特征点进一步细化以适应位 置、 尺度和主曲率比； 高斯差分函数的泰勒展开式为： 对X求导并让方程等于0， 来确定水下 图像候选特征点的位置， 然后利用候选特征点 处的高斯差分函数去除水 下图像中对比度低的不稳定特 征； 获取关键点处的黑塞矩阵H， 矩阵的特 征值为α 和β， 上述特 征值的和以及乘积可以分别由H的迹和行列式计算得到： 权　利　要　求　书 2/3 页 3 CN 114913071 A 3