(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211175197.3 (22)申请日 2022.09.26 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 潘汉　彭湃　刘洋　傅双杰　 敬忠良　黄健哲　 (74)专利代理 机构 上海旭诚知识产权代理有限 公司 312 20 专利代理师 郑立 (51)Int.Cl. G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/77(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于金字塔卷积的多曝光图像融合方 法 (57)摘要 本发明公开了一种基于金字塔卷积的多曝 光图像融合方法， 包括以下步骤： 步骤1、 将过曝 图像与欠曝图像按通道拼接， 经预处理得到系统 输入； 步骤2、 将所述系统输入送至去相关模块， 消除数据的通道级、 像素级相关性； 步骤3、 将步 骤2的输出通过编码器进行特征融合， 并映射到 高维数据空间； 步骤4、 将融合后的高维数据通过 解码器进行降维， 重构融合图像， 完成多曝光融 合。 本发明的多曝光图像融合方法， 能够改善融 合极端光照场景时的光晕和伪影， 提升多曝光图 像融合算法对极端场景的泛化能力， 在水下、 夜 间观测等场景广泛应用。 权利要求书2页 说明书5页 附图3页 CN 115511760 A 2022.12.23 CN 115511760 A 1.一种基于金字塔卷积的多曝光图像融合方法， 其特 征在于， 包括以下步骤： 步骤1、 将过曝图像与欠曝图像按通道拼接， 经 预处理得到系统输入； 步骤2、 将所述系统输入送至去相关模块， 消除数据的通道级、 像素级相关性； 步骤3、 将步骤2的输出通过编码器进行 特征融合， 并映射到高维数据空间； 步骤4、 将融合后的高维数据通过解码器进行降维， 重构融合图像， 完成多曝光融合。 2.如权利要求1所述的基于金字塔卷积的多曝光图像融合方法， 其特征在于， 步骤1的 所述过曝图像和欠曝图像为3通道RGB图像， 按通道拼接后为6通道图像。 3.如权利要求2所述的基于金字塔卷积的多曝光图像融合方法， 其特征在于， 所述步骤 1具体包括： 步骤1.1、 对所述过曝图像和欠曝图像在平面空间进行随机水平翻转、 随机裁剪， 得到 形状为6×64×64的输入张量； 步骤1.2、 对所述输入张量归一 化处理， 得到每 个像素值在0 ‑1之间的所述系统输入。 4.如权利要求2所述的基于金字塔卷积的多曝光图像融合方法， 其特征在于， 所述步骤 3具体包括： 步骤3.1、 将步骤2的输出， 经过一个金字塔卷积层， 通道由6加 深到32， 所述金字塔卷积 层的卷积核尺寸 为3， 分组数为1； 步骤3.2、 将步骤3.1得到的数据经 过连续3个注意力模块， 提取图像有效信息特 征； 步骤3.3、 通过金字塔密集卷积连接模块， 对所述图像有效信息进行跨尺度、 跨网络层 融合， 得到通道数为2 24的所述高维数据空间。 5.如权利要求4所述的基于金字塔卷积的多曝光图像融合方法， 其特征在于， 所述步骤 4具体包括： 步骤4.1、 将所述高维数据空间经过3个金字塔卷积层， 通道数由224降维到32， 所述金 字塔卷积层的卷积核尺寸分别为[3,5,7,9]、 [3,5,7,9]、 [3,5,7]， 分组数为[1,4,8,16]、 [1,4,8,16]、 [1,4,8 ]， 各组对应的输出通道数分别为[32,32,32,32]、 [16,16,16,16]、 [8, 8,16]； 步骤4.2、 将步骤4.1得到的数据经过1个标准卷积和Tanh激活函数， 重构融合后的图 像， 标准卷积的卷积核尺寸 为3， 融合图像形状为3 ×64×64。 6.如权利要求4或5所述的基于金字塔卷积的多曝光图像融合方法， 其特征在于， 所述 金字塔卷积层包括： 金字塔卷积、 LeakyReLu激活函数。 7.如权利要求4所述的基于金字塔卷积的多曝光图像融合方法， 其特征在于， 所述注意 力模块的实现过程包括： S1、 经过一个卷积核尺寸 为3的标准卷积层， 并将该 卷积层的输入与输出进行跳 接； S2、 经过全局平均池化将32 ×64×64的数据张量按通道压缩为32 ×1×1的特征通道分 布； S3、 经过卷积核尺寸为1的标准卷积层和标准卷积， 以及Sigmoid激活函数， 得到通道权 重图； S4、 通过点乘操作， 将步骤S1得到的结果与步骤S3得到的通道权 重图相乘； S5、 经过卷积核尺寸为1的标准卷积层和标准卷积， 以及Sigmoid激活函数， 按 空间压缩 到1×64×64的空间权 重图；权　利　要　求　书 1/2 页 2 CN 115511760 A 2S6、 通过点乘操作， 将步骤S4得到的结果与步骤S5得到的空间权重图相乘， 并将S1的输 入与点乘的结果进行跳 接。 8.如权利要求7所述的基于金字塔卷积的多曝光图像融合方法， 其特征在于， 所述标准 卷积层包括： 标准卷积、 LeakyReLu激活函数。 9.如权利要求4所述的基于金字塔卷积的多曝光图像融合方法， 其特征在于， 所述金字 塔密集卷积连接块包括6个金字塔卷积层， 所述金字塔卷积层的卷积核尺寸为[3,5,7]， 分 组数为[1,4,8]， 各组对应的输出通道数为[ 8,8,16]。 10.如权利要求1所述的基于金字塔卷积 的多曝光图像融合方法， 其特征在于， 所述多 曝光融合的目标为融合图像与输入图像之间的像素差异、 结构差异最小化； 用平滑L1范数 SmoothL1作为像素损失， 和用结构相似性度量SSIM作为结构损失， 对于给定的过曝图像Ih， 欠曝图像Il， 和融合图像If， 损失函数 可表示为： 其中， Ls表示结构损失， Lp表示像素损失， λ为平衡结构损失与像素损失的超参数， 设置 为20。权　利　要　求　书 2/2 页 3 CN 115511760 A 3