(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211179917.3 (22)申请日 2022.09.27 (65)同一申请的已公布的文献号 申请公布号 CN 115272084 A (43)申请公布日 2022.11.01 (73)专利权人 成都信息工程大学 地址 610225 四川省成 都市西南 航空港经 济开发区学府路1段24 号 (72)发明人 李家　周钰谦　张秋燕　 (74)专利代理 机构 北京元本知识产权代理事务 所(普通合伙) 11308 专利代理师 曹广生 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (56)对比文件 CN 110164148 A,2019.08.23 CN 111932457 A,2020.1 1.13 CN 109727197 A,2019.0 5.07 CN 114841856 A,2022.08.02 CN 111754403 A,2020.10.09 张永梅等.基于深度学习与超分辨 率重建的 遥感高时空融合方法. 《计算机 工程与科 学》 .2020,(第09期), Yiqun Mei .etc.Ima ge Super-Reso lution with Non-Local Sparse A ttention. 《Proceedings of the IE EE/CVF Conference on Computer Visi on and Pat tern Recognition》 .2021, 李岚等.基于改进残差亚像素 卷积神经网络 的超分辨 率图像重建方法研究. 《长 春师范大学 学报》 .2020,(第08 期), 审查员 苏俊杰 (54)发明名称 一种影像高分辨 率重建方法及装置 (57)摘要 本申请提供了一种影像高分辨率重建方法 及装置， 包括： 获取第一时相低分辨率影像、 第二 时相低分辨率影像和第三时相低分辨率影像， 第 一时相、 第二时相和第三时相按时间顺序依次排 列， 其中第一时相低分辨率影像、 第三时相低分 辨率影像有配对的同一区域同一时相的高分辨 率影像； 通过超分辨率卷积神经网络， 获得过渡 残差影像； 通过偏置特征提取卷积神经网络， 获 得传感器偏差； 通过时间融合卷积神经网络， 获 得第二时相高分辨率重建影像。 该方法基于传感 器误差修正和时空数据融合， 能够有效提升影像 高分辨率重建视觉效果。 此外， 还提出了一种影 像高分辨 率重建装置、 设备及存 储介质。 权利要求书4页 说明书13页 附图4页 CN 115272084 B 2022.12.16 CN 115272084 B 1.一种影 像高分辨 率重建方法， 其特 征在于， 包括以下步骤： 获取第一时相低分辨率影像、 第二时相低分辨率影像和第三时相低分辨率影像， 第一 时相、 第二时相和 第三时相按时间顺序依次排列， 其中， 所述第一时相低分辨率影像有配对 的同一区域同一时相的第一时相高分辨率影像， 所述第三时相低分辨率影像有配对的同一 区域同一时相的第三时相高分辨 率影像； 将所述第一 时相低分辨率影像和第 二时相低分辨率影像输入超分辨率卷积神经网络， 获得第一二时相过渡残差影像， 将所述第二时相低分辨率影像和 第三时相低分辨率影像输 入超分辨率卷积神经网络， 获得第二 三时相过渡残差影 像； 将所述第一二 时相过渡残差影像输入偏置特征提取卷积神经网络， 获得第 一二时相传 感器偏差， 将所述第二三时相过渡残差影像输入偏置特征提取卷积神经网络， 获得第二三 时相传感器偏差； 将所述第一时相高分辨影像、 第一二时相过渡残差影像和第一二时相传感器偏差相 加， 获得第二时相前向过渡高分辨率影像， 将所述第三时相高分辨率影像、 第二三时相过渡 残差影像和第二 三时相传感器偏差相加， 获得第二时相后向过渡高分辨 率影像； 将所述第二时相前向过渡高分辨率影像和第二时相后向过渡高分辨率影像输入时间 融合卷积神经网络， 获得第二时相高分辨 率重建影 像。 2.如权利要求1所述的一种影像 高分辨率重建方法， 其特征在于， 所述将所述第 一时相 低分辨率影像和 第二时相低分辨率影像输入超分辨率卷积神经网络， 获得第一二时相过渡 残差影像， 将所述第二时相低分辨率影像和 第三时相低分辨率影像输入超分辨率卷积神经 网络， 获得第二 三时相过渡残差影 像具体为： 使用损失函数公式 训练所述超分辨率卷积神经网络， 式中， 表示超分辨率 卷积神经网络的 映 射函数， 表示该映射函数的训练权重参数， 为训练集中第 时相高分辨 率影像 与第 时相高分辨率影像 的差， 为训练集中第 时相低分 辨率影像 与第 时相低分辨率影像 的差， ， 其中 表示欧氏模长， 为 、 影像长度上的分辨 率， 为 、 影像宽度上的分辨 率； 计算第一时相低分辨率影像和第 二时相低分辨率影像的影像差， 将该影像差输入已训 练好的超分辨 率卷积神经网络得到获得第一 二时相过渡残差影 像； 计算第二时相低分辨率影像和第 三时相低分辨率影像的影像差， 将该影像差输入已训 练好的超分辨 率卷积神经网络得到获得第二 三时相过渡残差影 像。 3.如权利要求1所述的一种影像 高分辨率重建方法， 其特征在于， 所述将所述第 一二时 相过渡残差影像输入偏置特征提取卷积神经网络， 获得第一二时相传感器偏差， 将所述第 二三时相过渡残差影像输入偏置特征提取卷积神经网络， 获得第二三时相传感器偏差具体 为：权　利　要　求　书 1/4 页 2 CN 115272084 B 2使用损失函数 训练所述偏置特征提取卷积神经网络， 式中， 表示偏置特征提取卷积神经 网络的映射函数， 表示偏置特征提取卷积神经网络映射函数的训练权重参数， 为训练集中第 时相高分辨率影像 与第 时相高分辨率影像 的差， 为第i， j时相过渡残差影 像； 将所述第一二 时相过渡残差影像输入已训练好的所述偏置特征提取卷积神经网络， 获 得第一二时相传感器偏差； 将所述第二三 时相过渡残差影像输入已训练好的所述偏置特征提取卷积神经网络， 获 得第二三时相传感器偏差 。 4.如权利要求3所述的一种影像 高分辨率重建方法， 其特征在于， 所述偏置特征提取卷 积神经网络包括输入层、 三个卷积隐藏层和输出层， 三个卷积隐藏层分别对应于提取特征 操作， 非线性映射操作和重建操作。 5.如权利要求1所述的一种影像 高分辨率重建方法， 其特征在于， 所述将所述第 二时相 前向过渡高分辨率影像和 第二时相后向过渡高分辨率影像输入时间融合卷积神经网络， 获 得第二时相高分辨 率重建影 像具体为： 使用Bicubic插值法对第一时相低分辨率影像、 第二时相低分辨率影像和第三时相低 分辨率影像进行上采样， 得到第一时相上采样影像、 第二时相上采样影像和第三时相上采 样影像， 其中上采样比例与高分辨 率重建后的图像采样比例 相同； 将第一时相上采样影像与第二时相上采样影像做差， 获得第一二时相上采样残差影 像， 将第二时相上采样影 像与第三时相上采样影 像做差， 获得第二 三时相上采样残差影 像； 使用损失函数 训练所述时间融合卷积神经网络， 式中， 表示时间融合卷积神经网络的映 射函数， 表示该映射函数的训练权重参数， 表示训练集中的第 时相， 为 第j时相高分辨率影像， 为第j时相来自第i时相的前 向过渡高分辨率影像， 为第j时 相来自第k时相的后向过渡高分辨率影像， 为第i,j时相上采样残差影像， 为第j,k时相上采样残差影像， 分别为对第 i,j,k时相低分辨率 影像进行上采样得到的第i,j,k时相上采样影像， 为 图片结构相似性函数， 其中 分别表示影像 中所有元素的均值， 分别 表示影像 中所有元素的标准差， 表示影像 中元素的协方差， 为两个很 小的常数， 防止分母为0；权　利　要　求　书 2/4 页 3 CN 115272084 B 3