(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211126828.2 (22)申请日 2022.09.16 (71)申请人 广州大学 地址 510006 广东省广州市大 学城外环西 路230号 (72)发明人 王员根　张奥翔　 (74)专利代理 机构 北京高航知识产权代理有限 公司 11530 专利代理师 覃钊雄 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/77(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种全面的视频质量评估方法 (57)摘要 本发明涉及图像信号处理与感知模 型领域， 具体为一种全面的视频质量评估方法， 步骤如 下： 步骤1、 通过视觉显著性模块检测出每一个视 频帧的显著性图； 步骤2、 通过内容依赖模块和边 缘掩蔽模块提取出视频的内容和边缘特征， 并利 用显著性图对内容和边缘特征进行注意力调整 后连接起来作为空域特征； 步骤3、 利用运动感知 模块提取出视频的时域特征； 步骤4、 将空域特征 以及时域特征进行融合， 作为视频的融合特征； 步骤5、 采用时间滞后模块来模拟记忆机制得到 视频质量分数。 本发明巧妙地集成了一系 列优秀 的人眼视觉系统的特性， 并加强了它们的联系， 通过更加优越的分类网络使得得到的视频语义 特征更加有效。 权利要求书3页 说明书8页 附图4页 CN 115527141 A 2022.12.27 CN 115527141 A 1.一种全面的视频质量评估方法， 其特 征在于， 步骤如下： 步骤1、 通过视 觉显著性模块检测出每一个视频帧的显著性图； 步骤2、 通过内容依赖模块和边缘掩蔽模块提取出视频的内容和边缘特征， 并利用显著 性图对内容和边 缘特征进行注意力调整后连接起 来作为空域特 征； 步骤3、 利用运动感知模块 提取出视频的时域特 征； 步骤4、 将空域特 征以及时域特 征进行融合， 作为视频的融合特 征； 步骤5、 采用时间滞后模块 来模拟记 忆机制得到 视频质量分数。 2.根据权利要求1所述的一种 全面的视频质量评估方法， 其特征在于， 所述视觉显著性 模块用于突出人类感兴趣的区域， 采用显著性图作为注意力掩膜， 利用在ImageNet ‑22k上 预训练的轻量级网络SAMNet提取显著性图An， An表达式为： An＝SAMNet(In) 其中， In表示为N帧视频中的第n帧， An中的每个元素都表示概率， 数值在[0,1]的范围 内。 3.根据权利要求2所述的一种全面的视频质量评估方法， 其特征在于， 将An的每个元素 的数值乘以255， 为了进一步区分显著区域和非显著区域， 大于阈值h的元素的数值增加 350， 小于阈值h的元素的数值增加250； 调整显著 性图大小与内容依赖模块和边缘掩蔽模块 中输出特征图相同， 经 过resize调整得到新的显著性图为 表达式为： 其中， 阈值h设置为10 0。 4.根据权利要求3所述的一种 全面的视频质量评估方法， 其特征在于， 所述的内容依赖 模块用于提取出视频的内容， 利用ConvNeXt提取每一个视频帧的内容特征图Cn， ConvNeXt 完全基于卷积神经网络， Cn表达式为： Cn＝CNN(In) 通过视觉显著性模块中的显著性图 对提取的内容特征 图Cn进行注意力机制 得到新 的内容特 征图 表达式为： 其中， 表示对Cn每个通道的元素相乘； 之后， 在 上应用全局平均池化GPmean和全局 标准差池化GPstd来进一步获取高级别的信息， 5.根据权利要求4所述的一种 全面的视频质量评估方法， 其特征在于， 所述的边缘掩蔽 模块用于显式地提取图像丰富的边缘特征， 将每一个视频帧分为红、 绿、 蓝通道， 分别表示 为 和 利用Canny算子分别对这3个通道进行处理， 得到各通道的边缘图； Canny算 子中包括上下两个阈值， 分别是u和l， 它们用来决定提取出的边缘特征的丰富程度， u和l分权　利　要　求　书 1/3 页 2 CN 115527141 A 2别被设置为140和5； 之后将三个通道的边缘图Concate连接起来作为一个视频帧的边缘图 Dn， Dn可表示为： 利用CNN提取边缘特征图En， En可表示为： En＝CNN(Dn) 采用显著性图 对边缘特征图En进行注意力机制得到新的边 缘特征图 最后， 得到均值和标准差的统计特 征为， 6.根据权利要求5所述的一种 全面的视频质量评估方法， 其特征在于， 所述运动感知模 块用于提取 出视频的时域特 征， 利用Sl owFast网络提取视频的运动特 征图M， M可表示 为： 利用GPmean和GPstd进一步得到运动特 征图的统计特 征， Mmean＝GPmean(M) Mstd＝GPstd(M)。 7.根据权利要求6所述的一种 全面的视频质量评估方法， 其特征在于， 在空域和时域上 融合多种类型的特征， 从空域的角度， 将内容特征图 和边缘特征图 连接为空域特 征Sn， Sn表示为： 从时域的角度看， 运动特 征图(Mmean,Mstd)被连接为时域特 征T,T表示 为： T＝Concate(Mmean,Mstd) 然后将Sn和T连接成融合特 征Fn,Fn表示为： 其中， 每两帧被S ample采样一次， 作为 将Fn经过全连接网 络处理后记为 表示为： 8.根据权利要求7所述的一种 全面的视频质量评估方法， 其特征在于， 所述的时间迟滞 模块用于利用TempHyst通过GRU网络获取视频的帧质量分数qn， GRU根据当前时刻的融合特 征 和前一时刻的融合特 征 得到帧质量分数qn,qn表示为： 以n表示为当前时刻， 将max(1,n ‑τ )到(n‑1)范围内最差帧的帧质量分数记为xn， 计算 为：权　利　要　求　书 2/3 页 3 CN 115527141 A 3