(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211159236.0 (22)申请日 2022.09.22 (71)申请人 合肥工业大 学 地址 230000 安徽省合肥市屯溪路193号 (72)发明人 林勇　苏羿安　林学威　方贤宝　 钟乐天　金钊　 (74)专利代理 机构 合肥铭辉知识产权代理事务 所(普通合伙) 34212 专利代理师 张名列 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于双注意力和密集连接的城市道路 语义分割方法 (57)摘要 本发明涉及图像 分割技术领域， 公开了一种 基于双注意力和密集连接的城市道路语义分割 方法包括以下步骤： 构建城市道路语义分割数据 集； 构建深度卷积神经网络， 所述深度卷积神经 网络包括编码器模块、 双注意力机制融合模块、 密集连接并联池化模块、 多尺度特征融合模块以 及解码分支； 利用所给的城市道路数据集对深度 卷积神经网络进行训练， 调整网络参数； 将需要 预测的图像输入进网络中获得语义分割结果。 本 发明能够较好的应对轻量级道路图像预测网络 所需的预测速度与精度需求。 权利要求书2页 说明书8页 附图5页 CN 115457498 A 2022.12.09 CN 115457498 A 1.一种基于双注意力和密集连接的城市道路语义分割方法， 其特征在于， 包括以下步 骤： 步骤1、 构建城市道路语义分割数据集； 步骤2、 构建深度卷积神经网络， 所述深度卷积神经网络包括编码器模块、 双注意力机 制融合模块、 密集连接并联池化模块、 多尺度特征融合模块以及解码分支； 所述编码 器模块 用于对输入图像进行编 码获得多种尺度特征信息， 所述双注意力机制融合模块对特征图重 点区域提高权重并抑制对无用信息的获取， 所述密集连接并联池化模块用于扩大同等卷积 核下感受野范围并增加信息复用效率， 所述多尺度特征融合模块用于将编 码器的部分特征 图与密集连接空洞空间金字塔池化模块特征图相融合， 所述解码分支用于将高维度特征图 通过上采样恢复到原图尺寸得到语义分割预测图； 步骤3、 利用城市道路场景 数据集对深度卷积神经网络进行训练修 正相关网络参数； 步骤4、 将待分割道路场景图片输入进训练完成的深度卷积神经网络获得语义分割结 果。 2.根据权利要求1所述的一种基于双注意力和密集连接的城市道路语义分割方法， 其 特征在于， 所述编码器模块结构为： 移除Mobi leNetV3最后四层用于分类任务的卷积池化层； 将MobileNetV3中连续的下采样瓶颈结构， 根据所要产生的多尺度特征图重新划分为 四个连续的瓶颈结构。 3.根据权利要求2所述的一种基于双注意力和密集连接的城市道路语义分割方法， 其 特征在于， 所述 瓶颈结构的输出 特征为： 其中： k表示瓶颈结构中倒残差块的个数， x表示输入此环节的特征图， Ai表示1×1的升 维卷积， Di表示倒残差 块中的3×3深度可分卷积， α 表示注意力参数， Ei表示空间注意力机制 权重， Bi表示1×1降维卷积， ⊕表示加权操作。 4.根据权利要求1或3所述的一种基于双注意力和密集连接的城市道路语义分割方法， 其特征在于， 所述双注意力机制融合模块的结构具体包括： 对于输入特征图F分为 三个特征分支， 其中 对于第一个特征分支进行通道注意力特征化具体为： 对F分别进行平均池化与最大池 化， 然后经过同一个多层感知机 获得两个输出特征Favg_feature和Fmax_feature， 将这两个特征经 过一个卷积得到通道特征图Fchannel_feature， 最后将Fchannel_feature与F融合特征得到此特征分 支的输出 Fc； 对于第二个特征分支空间注意力特征化具体为： 对F分别进行平均池化与最大池化， 然 后经过特征堆叠获得Fconcat， 经过空间注意力卷积池化与标准化操作后得到空间特征图 Fspatial_feature， 然后将Fspatial_feature与F进行特征融合得到此 特征分支的输出 Fs； 对第三个特征分支特征细节保留， 将输入F进行3 ×3卷积之后得到此特征分支的输出 Fr， 最后将三个特 征分支的输出 Fc， Fs， Fr进行堆叠作为双注意力机制融合结构的输出 Fout。 5.根据权利要求4所述的一种基于双注意力和密集连接的城市道路语义分割方法， 其 特征在于， 所述密集连接并联池化模块包含图像池化、 密集连接空洞空间金字塔池化、 卷积 和双注意力特 征处理四个部分， 其中处 理过程具体为：权　利　要　求　书 1/2 页 2 CN 115457498 A 2图像池化： 对于给定的特 征图I∈RC*H*W， 经过一层最大池化得到 输出特征图O1∈RC*H*W； 密集连接空洞空间金字塔池化： 对于给定的特征图I， 分为四个分支， 第 一， 以膨胀率为 6进行空洞卷积得到输出D1∈RC*H*W、 第二， 先将输入I与D1进行concat得到特征图C1再以膨胀 率为12进行空洞卷积得到输出D2∈RC*H*W、 第三， 先将C1与D2进行concat得到输出特征图C2再 以膨胀率为18进行空洞卷积的到输出D3∈RC*H*W、 第四， 先将C2与D3进行concat得到输出C3再 进行膨胀率为24的空洞卷积得到输出D4∈RC*H*W， 最后将四个 分支获得的输出特征图进行整 合获得密集连接空洞空间金字塔池化输出O2∈R4C*H*W； 卷积： 对于给定的输入特 征图I， 经 过一个1×1的卷积获得输出O3； 双注意力特征处理： 对于给定的输入特征图I， 输入到一个与双注意力机制融合模块的 结构中获得输出O4； 最后将四个分支所获得的O1、 O2、 O3与O4通过特征与整合得到密集连接并联池化模块的 输出O∈R(7*C)*H*W。 6.根据权利要求5所述的一种基于双注意力和密集连接的城市道路语义分割方法， 其 特征在于， 所述多尺度特 征融合模块的处 理过程包括： 输入图像经过编码器模块， 获得四种尺寸的特征图M1、 M2、 M3和M4， 特征图M1相对于原图 下采样2倍， 特征图M2相对于原图下采样4倍， 特征图M3相对于原图下采样8倍， 特征图M4相对 于原图下采样16倍； 首先， 将得到的输出特征图O作 为输入， 先进行一个1 ×1的卷积降低维度， 再进行4倍的 上采样得到 M5； 其次， 将M2经过一个1 ×1卷积再与M5进行concat得到的输出特征图进行一个两倍的上 采样得到 M2_5； 最后， 将M1经过1×1的卷积再与M2_5进行concat得到 本环节的输出M 。 7.根据权利要求6所述的一种基于双注意力和密集连接的城市道路语义分割方法， 其 特征在于， 所述 解码分支生成语义分割预测图的过程包括： 针对于输入特征图， 进行一个分类卷积得到所需类别的分类图像， 然后经过上采样得 到输出的语义分割预测图。 8.根据权利要求1所述的一种基于双注意力和密集连接的城市道路语义分割方法， 其 特征在于， 所述深度卷积神经网络的处 理过程为： 输入图像经过编码器模块， 在下采样的过程中保留两倍下采样与四倍下采样的特征图 M1、 M2， 并得到编码器输出 下采样16倍且维度为16 0的特征图； 将得到的特征图输入双注意力 机制融合模块， 对特征图的空间与通道维度建立相关表 征， 输出结果为下采样16倍且维度为16 0的特征图； 将经过双注意力 机制融合模块的特征图输入密集连接并联池化模块中， 提高感受野 并 减少信息 丢失， 输出 结果为下采样16倍且维度为1 120的特征块； 将经过密集连接并联池化模块得到的特征图与M1、 M2三张特征图输入多尺度特征融合 模块， 补全特 征图边缘信息， 输出 结果为下采样2倍且维度为16 0的特征图； 最后将多尺度特征融合模块得到的特征图输入解码分支， 进行语义分割， 得到大小与 原图大小相同维度为25 6的语义分割预测图， 完成预测。权　利　要　求　书 2/2 页 3 CN 115457498 A 3