(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211176904.0 (22)申请日 2022.09.26 (71)申请人 中国人民解 放军陆军工程大 学 地址 400035 重庆市沙坪坝区林园甲1号 (72)发明人 石昌友　卢建平　孙强　周静　 黄蔚　夏榕泽　 (74)专利代理 机构 重庆博凯知识产权代理有限 公司 50212 专利代理师 张乙山 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06V 10/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种有雾图像的视 觉增强方法 (57)摘要 本发明具体涉及一种有雾图像的视觉增强 方法， 包括： 将有雾图像和清晰图像视为两种类 型的数据域空间， 将有雾图像的去雾和清晰图像 的雾化构成对偶任务； 基于对偶学习机制训练两 个跨数据域空间转换映射的生 成对抗网络模型； 首先将源域图像输入对应模型的生成器， 得到映 射图像； 其次把映射图像和目标域图像输入对应 模型的判别器进行对抗鉴别， 并计算对抗损失； 然后把映射图像输入对应模型逆任务模型的生 成器得到逆映射图像； 再基于逆映射图像和源域 图像计算重构损失； 最后将对抗损失和重构损失 组合成优化函数， 用以训练对应的模型。 本发明 能够训练得到与有雾天气的实际情况更吻合的 模型， 且无需通过人工合成的方式产生训练样 本。 权利要求书2页 说明书9页 附图5页 CN 115511741 A 2022.12.23 CN 115511741 A 1.一种有雾图像的视 觉增强方法， 其特 征在于， 包括： S1： 获取有雾图像和清晰图像构建训练样本； S2： 将有雾图像和清晰图像视为两种类型的数据域空间， 然后将有雾图像的去雾和清 晰图像的雾化构成对偶任务； S3： 基于对偶学习机制训练两个跨数据域空间转换映射的生成对抗网络模型， 即互为 逆任务模型的去雾模型和雾化模型； 训练两个模型时， 首先将训练样本中的有雾图像或清晰图像作为源域图像输入对应模 型的生成器， 得到映射图像； 其次把映射图像和目标域图像输入对应模型 的判别器进行对 抗鉴别， 并计算对应模型 的对抗损失； 然后把映射图像输入对应模型 的逆任务模型 的生成 器， 得到逆映射图像； 再基于逆映射图像和源域图像计算对应模型的重构损失； 最后 将对应 的对抗损失和重构损失组合成优化 函数， 用以训练对应的模型； S4： 将待处 理的有雾图像输入训练后的去雾模型， 得到去雾图像作为视 觉增强结果。 2.如权利要求1所述的有雾图像的视觉增强方法， 其特征在于： 步骤S3中， 训练去雾模 型时， 把清晰图像输入去雾模型 的生成器， 然后基于生成器的输入图像和输出图像计算对 应的一致性损失， 并将一致性损失与对应的对抗损失和重构损失组合成优化函数， 用以训 练去雾模型。 3.如权利要求1所述的有雾图像的视觉增强方法， 其特征在于： 步骤S3中， 去雾模型和 雾化模型的网络结构相同， 均包括生成器和判别器； 生成器为金字塔型卷积神经网络， 判别 器包括特 征提取网络和概 率化网络。 4.如权利要求3所述的有雾图像的视觉增强方法， 其特征在于： 生成器包括三个结构相 同的“U”型子模型， 分别是用于处理源尺度图像、 二分之一尺度图像和四分之一尺度图像三 种尺度输入图像的第一子模型、 第二子模型和第三子模型， 第一子模型 的部分卷积特征跨 越连接到第二子模型， 第二子模型的部分卷积特 征跨越连接 到第三子模型。 5.如权利要求4所述的有雾图像的视觉增强方法， 其特征在于： 三个子模型内均由编码 器和解码器构成； 编 码器包括六个卷积操作层， 解码 器包括五个转置卷积操作层， 且编 码器 和解码器对应的操作层设计成残差连接结构。 6.如权利要求3所述的有雾图像的视觉增强方法， 其特征在于： 特征提取网络包括五个 卷积操作层； 概 率化网络包括全局池化层、 卷积 操作层和sigmod概 率映射操作层。 7.如权利要求1所述的有雾图像的视觉增强方法， 其特征在于： 步骤S3中， 去雾模型和 雾化模型中生成器的优化 函数定义如下： 式中： 和 分别表示去雾模型和雾化模型中生成器的训练损失； Lc_fog和Lc_clean分 别表示去 雾模型和雾 化模型的重构损失； β 和γ表示超参 数； Lident表示去雾模型的一致性损 失； Gf2c(·)和Gc2f(·)分别表示去雾模型和雾化模型中的生成器； X表示输入图像； Dc(·) 和Df(·)分别表示去雾模型和雾化模型中的判别器。 8.如权利要求7所述的有雾图像的视觉增强方法， 其特征在于： 通过如下公式计算去雾权　利　要　求　书 1/2 页 2 CN 115511741 A 2模型和加雾模型中生成器的重构损失： Lc_fog＝||Gc2f(Gf2c(XA))‑XA||1； Lc_clean＝||Gf2c(Gc2f(XB))‑XB||1； 式中： Lc_fog和Lc_clean分别表示去雾模型和雾化模型的重构损失； || ·||1表示一阶范数； XA表示有雾图像， 即去雾模型中生成器的源域图像； XB表示清晰图像， 即雾化模型中生成器 的源域图像； Gf2c(·)和Gc2f(·)分别表示去雾模型和雾化模型中的生成器。 9.如权利要求7所述的有雾图像的视觉增强方法， 其特征在于： 通过如下公式计算去雾 模型的一 致性损失： Lident＝||Gf2c(XB))‑XB||1； 式中： Lident表示去雾模型的一致性损失； XB表示清晰图像； Gf2c(·)表示去雾模型中的 生成器； | |·||1表示一阶范数。 10.如权利要求1所述的有雾图像的视觉增强方法， 其特征在于： 步骤S3中， 去雾模型和 雾化模型中判别器的训练损失定义如下： 式中： Lf2c和Lc2f分别表示去雾模型和雾化模型的对抗损失； Gf2c(·)和Gc2f(·)分别表 示去雾模型和雾化模型中的生成器； X表示输入图像； Dc(·)和Df(·)分别表示去雾模型和 雾化模型中的判别器。权　利　要　求　书 2/2 页 3 CN 115511741 A 3