(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211273017.5 (22)申请日 2022.10.18 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518064 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 胡晓彬　罗栋豪　邰颖　汪铖杰　 (74)专利代理 机构 深圳市深佳知识产权代理事 务所(普通 合伙) 44285 专利代理师 李杭 (51)Int.Cl. G06T 7/194(2017.01) G06T 7/11(2017.01) G06T 5/50(2006.01) G06V 10/80(2022.01) (54)发明名称 一种图像处 理方法及装置 (57)摘要 本申请提供了一种图像处理方法以及相关 装置。 本申请实施例可应用于人工智 能、 智慧交 通、 辅助驾驶等各种场景。 其方法包括： 首先， 获 取包括抠图目标待处理图像； 接着， 通过金字塔 特征提取网络对待处理图像进行处理， 得到M个 特征图像； 然后， 通过第一目标分割网络对M个特 征图像进行处理， 得到第一图像； 并且， 通过第二 目标分割网络对M个特征图像进行处理， 得到第 二图像； 最后， 根据第一图像及第二图像， 生成包 括抠图目标的目标抠图图像。 本申请提供的方法 通过两个不同的目标分割网络对待处理图像的M 个特征图像进行目标分割， 得到第一图像及第二 图像， 通过第一图像及第二图像生成目标抠图图 像， 提高了抠图结果的准确性及抠图结果的精细 程度。 权利要求书4页 说明书23页 附图14页 CN 115359088 A 2022.11.18 CN 115359088 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取待处 理图像， 其中， 所述待处 理图像包括 抠图目标； 通过金字塔特征提取网络对所述待处理图像进行处理， 得到M个特征图像， 其中， 所述 金字塔特征提取网络包括M个特征提取层， 每个特征层的输入作为上一个特征层的输出， M 为大于等于1的整数； 通过第一目标分割网络对所述M个特征图像进行处理， 得到第一图像， 其中， 所述第一 图像包括第一前景区域、 第一背景区域及待确认 区域， 所述第一前景区域对应于所述抠图 目标所对应的区域， 所述待确认区域为所述第一前景区域与所述第一背景区域的交叠区 域； 通过第二目标分割网络对所述M个特征图像进行处理， 得到第二图像， 其中， 所述第二 图像包括第二前景区域及第二背 景区域， 所述第二前景区域对应于所述抠图目标所对应的 区域； 根据所述第一图像及所述第 二图像， 生成目标抠图图像， 其中， 所述目标抠图图像包括 所述抠图目标。 2.如权利要求1所述的图像处理方法， 其特征在于， 所述第一目标分割 网络包括M个残 差通道注意力层 及特征融合层； 所述通过第一目标分割网络对所述M个特 征图像进行处 理， 得到第一图像， 包括： 通过所述M个残差通道 注意力层对所述M个特 征图像进行处 理， 输出M个注意力矩阵； 通过所述特征融合层对所述M个注意力矩阵中的K个注意力矩阵进行处理， 得到第一矩 阵， 其中， K为小于 M的整数； 根据所述第一矩阵生成所述第一图像。 3.如权利要求2所述的图像处理方法， 其特征在于， 每个所述特征图像对应于一个特征 矩阵； 所述通过所述M个残差通道注意力层对所述M个特征图像进行处理， 输出M个注意力矩 阵， 包括： 将第i个特征矩阵及第i ‑1个特征矩阵作为第i个所述残差通道注意力层的输入， 通过 所述第i个残差通道注意力层输出第i个注意力矩阵， 其中， 所述第i个特征矩阵对应于第i 个特征图像， 所述第i ‑1个特征矩阵对应于第i ‑1个特征图像， i 为大于1且小于 M的整数； 将第j个特征矩阵作为第j个残差通道注意力层的输入， 通过所述第j个残差通道注意 力层输出第j个注意力矩阵， 其中， 所述第j个特 征矩阵对应于第j个特 征图像， j为1或M 。 4.如权利要求2所述的图像处理方法， 其特征在于， 所述第 一目标分割网络还包括计数 器， 所述计数器用于统计所述残差通道注意力 层对特征图像的处理 次数T， T为大于等于1的 整数； 所述M个特 征图像对应M个特 征矩阵； 所述通过所述M个残差通道注意力层对所述M个特征图像进行处理， 输出M个注意力矩 阵， 包括： 获取所述计数器统计的所述处 理次数T； 当所述处 理次数小于第一阈值时， 将第一特征矩阵作为第 一残差通道注意力层的输入， 通过所述第 一残差通道注意力层 输出第一注意力矩阵， 其中， 所述第一特征矩阵对应于第一特征图像， 所述第一特征图像根权　利　要　求　书 1/4 页 2 CN 115359088 A 2据所述金字塔特 征提取网络中的第一特 征提取层得到； 将第二特征矩阵及所述第 一注意力矩阵作为第 二残差通道注意力层的输入， 通过所述 第二残差通道注意力层输出第二注意力矩阵， 其中， 所述第二特征矩阵对应于第二特征图 像， 所述第二特 征图像根据所述金字塔特 征提取网络中的第二特 征提取层得到； 将第三特征矩阵及所述第 二注意力矩阵作为第 三残差通道注意力层的输入， 通过所述 第三残差通道注意力层输出第三注意力矩阵， 其中， 所述第三特征矩阵对应于第三特征图 像， 所述第三特 征图像根据所述金字塔特 征提取网络中的第三特 征提取层得到； 将第四特征矩阵作为第四残差通道注意力层的输入， 通过所述第四残差通道注意力层 输出第四注意力矩阵， 其中， 所述第四特征矩阵对应于第四特征图像， 所述第四特征图像根 据所述金字塔特 征提取网络中的第四特 征提取层得到 。 5.如权利要求4所述的图像处理方法， 其特征在于， 所述获取所述计数器统计的所述处 理次数T之后， 还 包括： 当所述处 理次数T大于等于第一阈值且小于第二阈值时， 将所述第一特征矩阵及所述第三注意力矩阵， 作为所述第一残差通道注意力层的输 入， 通过所述第一残差通道 注意力层输出第五注意力矩阵； 将所述第二特征矩阵及所述第五注意力矩阵， 作为所述第二残差通道注意力层的输 入， 通过所述第二残差通道 注意力层输出第六注意力矩阵； 将所述第三特征矩阵、 所述第三注意力矩阵及所述第六注意力矩阵， 作为所述第三残 差通道注意力层的输入， 通过 所述第三残差通道 注意力层输出第七注意力矩阵。 6.如权利要求5所述的图像处理方法， 其特征在于， 所述通过所述特征融合层对所述M 个注意力矩阵中的K个注意力矩阵进行处 理， 得到第一矩阵， 包括： 当所述处理次数等于所述第 二阈值时， 通过所述特征融合层对所述第四注意力矩阵及 所述第七注意力矩阵进行处 理， 得到第一矩阵。 7.如权利要求6所述的图像处理方法， 其特征在于， 所述通过所述特征融合层对所述第 四注意力矩阵及所述第七注意力矩阵进行处 理， 得到第一矩阵， 包括： 对所述第四注意力矩阵进行 特征提取， 得到第一特 征向量； 对所述第一特 征向量进行 特征值提取， 得到第一特 征值； 通过激活函数， 对所述第一特 征向量进行处 理， 得到第一激活向量； 对所述第七注意力矩阵进行 特征提取， 得到第二特 征向量； 对所述第二特 征向量进行 特征值提取， 得到第二特 征值； 通过激活函数， 对所述第二特 征向量进行处 理， 得到第二激活向量； 根据所述第四注意力矩阵、 所述第一激活向量、 所述第一特征值、 所述第七注意力矩 阵、 所述第二激活向量及所述第二特 征值， 生成第一矩阵。 8.如权利要求1所述的图像处理方法， 其特征在于， 所述第二目标分割 网络包括M+1个 卷积层； 所述M个特 征图像对应M个特 征矩阵； 所述通过第二目标分割网络对所述M个特 征图像进行处 理， 得到第二图像， 包括： 将第一特征矩阵作为第一卷积层的输入， 通过所述第一卷积层输出第一卷积矩阵， 其 中， 所述第一特征矩阵对应于第一特征图像， 所述第一特征图像根据所述金字塔特征提取 网络中的第一特 征提取层得到；权　利　要　求　书 2/4 页 3 CN 115359088 A 3