(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211143524.7 (22)申请日 2022.09.20 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 刘永坚　李嘉伟　解庆　马艳春　 胡桉澍　白立华　 (74)专利代理 机构 武汉开元知识产权代理有限 公司 42104 专利代理师 刘琳 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于迭代式网络的唐卡图像修复方法 (57)摘要 本发明涉及图像处理技术领域， 尤其涉及基 于迭代式网络的唐卡图像修复方法。 基于迭代式 网络的唐卡图像修复方法， 包 括步骤： (1)构建迭 代式的图像修复网络模块： 在网络中以迭代的方 式从外到内逐级修复唐卡图像破损区域； (2)优 化图像修复网络模块； (3)将破损唐卡图像输入 至优化后的图像修复网络模块， 得到修复后的目 标唐卡图像。 本发明结合唐卡图像的纹理与结构 特征设计纹理修复网络与结构修复网络， 并使用 特征自适应融合模块融合图像特征， 并且根据网 络特点设计与之匹配的损失函数， 有效地利用唐 卡图像的先验信息修复破损唐卡图像， 极大地提 高对唐卡图像的训练效率和对破损唐卡图像修 复性能表现。 权利要求书3页 说明书8页 附图4页 CN 115482164 A 2022.12.16 CN 115482164 A 1.一种基于迭代式网络的唐卡图像修复系统， 其特征在于， 包括图像输入模块、 图像修 复网络模块、 总损失计算模块、 和图像输出模块； 图像输入 模块， 用于将破损唐卡图像输入到图像修复 网络模块中； 图像修复网络模块包括由编码器单元、 区域识别单元、 纹理修复单元与结构修复单元、 特征自适应融合单 元和解码器单 元， 连接形成神经网络； 总损失计算模块， 用于对图像修复网络模块进行训练， 以迭代优化图像修复网络模块 的参数； 总损失计算模块的构建过程为： 首先， 建立训练集， 训练集中每个训练样本包括： 原 唐卡图像、 表示缺损区域的掩码图 以及将原唐卡图像和表示缺损区域的掩码图进 行融合得 到破损唐卡图像； 每个训练样本对应输出 的训练结果为： 利用图像修复网络模块修复得到 的修复唐卡图像； 然后利用VGG16模型构建总损失计算模块： 其中， 总损失计算模块的总损 失函数由像素重建损失函数、 内容损失函数和风格损失函数叠加构成： 所述像素重建损失的表达式为： 公式(1)中， Xi与X′i分别为原唐卡图像与对应修复唐卡图像上的像素， m为该样本图像 所有像素的个数， c是用于稳定计算过程的极小常数； 所述内容损失的表达式为： 公式(2)中， Φi(·)代表用来将图像转换到特 征空间的函数； i是 该函数中某输出层； 所述风格损失表达式为： 公式(3)中， G( ·)为对特征图进行Gram矩阵计算操作； 所述总损失函数为： 公式(4)中， 为像素重建损失， 为内容损失， 为风格损失， λChar、 λcontent和 λstyle为平衡各部分损失函数权 重的参数； 图像输出模块， 用于输出经总损失计算模块训练后图像修复网络模块生成的修复唐卡 图像。 2.根据权利要求1所述的基于迭代式网络的唐卡图像修复系统， 其特征在于， 所述图像 修复网络模块中的编 码器单元和解码 器单元均为多层卷积层结构； 编 码器单元的卷积层均 使用部分卷积， 解码器单元的卷积层使用转置卷积和部分卷积， 每个卷积层的下层使用 BatchNorm构建归一 化层。 3.根据权利要求2所述的基于迭代式网络的唐卡图像修复系统， 其特征在于， 所述图像 修复网络模块中的区域识别单元为部分卷积级联 组成， 部分卷积利用破损唐卡图像的二值 掩码图区分出了破损唐卡图像的有效区域和空洞区域， 使对破损唐卡图像的卷积仅依赖于 有效区域； 通过部分卷积生成新的特 征点x′的公式表示 为：权　利　要　求　书 1/3 页 2 CN 115482164 A 2公式(5)中， W为普通卷积的卷积核参数， b为偏差， X为当前卷积核在输入特征图上对应 的滑动窗口， M为该滑动窗口对应的二 值遮挡图， ⊙代表矩阵元素点乘操作； 若当前卷积核对应的滑动窗口全部来自于空洞区域， 那么该窗口生成的特征点会被直 接置为0。 4.根据权利要求3所述的基于迭代式网络的唐卡图像修复系统， 其特征在于， 所述图像 修复网络模块中的纹理修复单元与结构修复单元由下采样层、 特征修复层和上采样层组 成； 纹理修复单元中， 下采样层由三层卷积组成， 此三层卷积自上而下为一层步长为2， 卷 积核大小为3*3的卷积以及两层步长为 1， 卷积核 大小为3*3的卷积； 特征修复层由三层 扩张 卷积组成， 此三层卷积为三层卷积核 大小为3*3， 步长为1的卷积， 其扩张率分别为2、 4、 8； 上 采样层由三层转置卷积组成， 此三层卷积为 三层卷积核大小为 4*4， 步长为2的转置卷积； 结构修复单元中， 下采样层由三层卷积组成， 此三层卷积为三层卷积核大小为3*3， 步 长为2的卷积； 特征修复层由三层 扩张卷积组成， 此三层卷积为三层卷积核 大小为3*3， 步长 为1的卷积， 其扩张率均为2， 上采样层由三层转置卷积组成， 此三层卷积为三层卷积核 大小 为4*4， 步长为2的转置卷积。 5.根据权利要求4所述的基于迭代式网络的唐卡图像修复系统， 其特征在于， 所述纹理 修复单元与结构修复单 元中的特 征修复层的扩张卷积公式如下： 设输入特 征图为x， 其中每 个像素坐标为 i， 卷积核为 w， 扩张率 为r， 输出 特征图为y。 6.根据权利要求5所述的基于迭代式网络的唐卡图像修复系统， 其特征在于， 所述图像 修复网络模块中特 征自适应融合的表达式为： 公式(7)中， Mi是第i次迭代的遮挡图； Fi是第i次迭代生成的特征图； ⊙代表矩阵元素点 乘操作； Fout是最终的融合特 征图。 7.一种利用权利要求1～6中任一项所述基于迭代式网络的唐卡图像修复系统对唐卡 图像进行修复的方法， 其特 征在于， 包括 步骤： 1、 构建迭代式网络的图像修复 网络模块； 1a、 编码器单元对破损唐卡图像抽取纹理细节特征和全局结构特征， 得到初步的图像 高层语义信息， 并送至区域识别单 元中； 1b、 区域识别单元提取本轮迭代所修复的区域得到特征图， 将特征图送入纹理修复单 元与结构修复单元分别进 行修复每轮迭代后， 区域识别单元从上一轮特征自适应融合单元 产生的特征图中提取本轮迭代所修复的区域， 再次送入纹理修复单元与结构修复单元修 复；权　利　要　求　书 2/3 页 3 CN 115482164 A 3