(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211246421.3 (22)申请日 2022.10.12 (71)申请人 南京信息 工程大学 地址 224002 江苏省盐城市 盐南高新区新 河街道文港南路10 5号 (72)发明人 陈晓　荆茹韵　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 刘艳艳 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于D3D卷积组内融合网络的视频超分辨率 重建方法 (57)摘要 本发明公开了一种基于D3D卷积组内融合网 络的视频超分辨率重建方法， 包括： 获取待重建 的低分辨率视频序列； 将所述待重建的低分辨率 视频序列输入测试训练好的视频超分辨率重建 网络模型； 模型输出得到视频超分辨率重建结 果， 即高分辨率视频序列； 其中所述视频超分辨 率重建网络模型包括时间分组模块、 C3D浅层特 征提取模块、 D3D卷积组 内融合模块、 组间注意力 机制模块和重建模块。 提高视频帧的利用率， 能 够学习从当前输入特征图中获取偏移向量， 可以 整合时间和空间信息， 在保持视频帧时间一致性 的同时获取 更为优良的重建性能。 权利要求书3页 说明书9页 附图2页 CN 115496663 A 2022.12.20 CN 115496663 A 1.一种基于D3D卷积组内融合网络的视频超分辨率重建方法， 其特征在于， 所述方法包 括： 获取待重建的低分辨 率视频序列； 将所述待重建的低分辨 率视频序列输入测试训练好的视频超分辨 率重建网络模型； 根据所述视频超分辨率重建网络模型的输出， 得到视频超分辨率重建结果， 即高分辨 率视频序列； 其中所述视频超分辨率重建网络模型包括时间分组模块、 C3D浅层特征提取模块、 D3D 卷积组内 融合模块、 组间注意力机制模块和重建模块； 所述时间分组模块： 用于对输入的低分辨率视频序列根据帧速率的不同进行分组得到 N组视频子序列； 所述C3D浅层特征提取模块： 用于对时间分组模块分组后的视频子序列进行初步的特 征提取和时间对齐得到 视频特征F， 并送入D3D卷积组内 融合模块； 所述D3D卷积组内融合模块， 用于利用空间特征提取器对视频特征进行空间特征提取 得到空间特征， 然后利用5个卷积核为3 ×3×3的D3D卷积残差块对空间特征进行时空特征 融合， 得到融合特征， 利用二 维密集块将融合特征进 行组内群体特征提取， 生成组内群体特 征 所述组间注意力机制模块， 用于对多个组内群体特征 进行时间注意力融合， 生成注 意力特征图Mn(x,y)j， 并送入重建模块； 所述重建模块， 用于对原始待重建的低分辨率视频序列进行双三 次插值上采样生成原 始视频残差图 将注意力特征图送入由六个级联的残差块和用于重建的亚像素卷积层， 进行处理后生成相应的残差图Rt； 将残差图Rt和原始视频残差图 进行相加， 生成最终的高 分辨率视频序列 2.根据权利要求1所述的基于D3D卷积组内融合网络的视频超分辨率重建方法， 其特征 在于， 所述视频超分辨 率重建网络模型的训练方法包括： 获取低分辨 率视频序列数据集； 利用所述数据集对所述视频超分辨率重建网络模型进行训练、 测试， 得到测试训练好 的视频超分辨 率重建网络模型。 3.根据权利要求2所述的基于D3D卷积组内融合网络的视频超分辨率重建方法， 其特征 在于， 所述视频超分辨 率重建网络模型训练过程中的损失函数L1(x)为： 其中， x表示去权值和偏置参数的集合， i表示训练时的迭代次数， m表示训练视频帧的 数量， 模型输出的高分辨率视频序列、 表示输入模型的低分辨率视频序列， F(.)表示 生成高分辨 率视频的预测值， | |*||表示范数。 4.根据权利要求2所述的基于D3D卷积组内融合网络的视频超分辨率重建方法， 其特征 在于， 所述获取低分辨 率视频序列数据集， 包括：权　利　要　求　书 1/3 页 2 CN 115496663 A 2数据集采用标准的数据集， 或自己采集构建； 如果采用标准的vid4和数据集进行训练和测试； 数据集包含calendar、 cit y、 foliage、 walk这四个场景视频帧序列， 每个场景包含41、 34、 49、 47帧视频图像， 对高分辨率视频帧利 用标准差σ ＝1.6的高斯模糊进行四倍下采样， 从而生成对应的低分辨 率视频帧。 5.根据权利要求1所述的基于D3D卷积组内融合网络的视频超分辨率重建方法， 其特征 在于， 所述时间分组模块的处 理过程， 包括： 将相邻的2N帧根据到参考帧的时间距离划分为N个组， 原始视频序列被重新排序为 {G1,...Gn}， n∈[i:N]， 其中 是由前一帧 参考帧 和后一帧 组成的 子序列； 其中L表示低分辨 率视频序列的符号。 6.根据权利要求1所述的基于D3D卷积组内融合网络的视频超分辨率重建方法， 其特征 在于， 所述D3D卷积组内 融合模块的构建方法， 包括： 所述D3D卷积组内 融合模块包括空间特 征提取器、 D3D卷积层和二维密集 块； 空间特征提取器每个单元由一个3 ×3卷积层、 一个批量归一化BN层和Relu激活函数组 成， 以C3D浅层特 征提取模块 提取得到的视频 特征F为输入， 经 过处理输出空间特 征 将空间特征 利用5个卷积核为3 ×3×3的D3D卷积残差块进 行时空特征融合得到融合 特征 将融合特征 送入二维密集块， 通过在二维密集块中应用18个二维单元， 进行组内群 体特征提取， 从而生成组内群 体特征 7.根据权利要求1所述的基于D3D卷积组内融合网络的视频超分辨率重建方法， 其特征 在于， 所述C 3D浅层特 征提取模块的处 理过程， 包括： 1)对输入的特 征x进行三维卷积核采样得到采样值； 2)通过函数w对 采样值进行加权求和； 通过膨胀系数为1的3 ×3×3卷积核传递的特 征， 用以下公式表示： 其中， y(p0)表示生成的输出特征， 输出特征中的一个位置可以用p0表示， pn表示在3×3 ×3卷积采样网络的第n个值， N表示迭代次数； 所述D3D卷积组内 融合模块的D3D卷积残差块的处 理过程， 包括： 其中， Δpn表示3×3×3卷积采样网络中第n个值对应的偏移量； 偏移量通常是小数， 所 以具体更精确的值需要通过双线性插值 来生成。 8.根据权利要求1所述的基于D3D卷积组内融合网络的视频超分辨率重建方法， 其特征 在于， 所述组间注意力机制模块包括， 用于对组内群体特征 应用一个3 ×3卷积层后计 算出一个通道的特征映射图 生 成的特征映射图F1a、 被进一步连接， 沿着时间轴的softmax函数被应用于每个位权　利　要　求　书 2/3 页 3 CN 115496663 A 3