(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211231617.5 (22)申请日 2022.10.09 (66)本国优先权数据 202210649928.7 202 2.06.09 CN (71)申请人 中国矿业大 学 （北京） 地址 100083 北京市海淀区学院路丁1 1号 (72)发明人 陈伟　杨澜　毕朋帅　 (74)专利代理 机构 北京智鸿港知识产权代理事 务所(普通 合伙) 16003 专利代理师 张学府 (51)Int.Cl. G06V 20/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/11(2017.01)G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于偏振影像的阴影植被提取方法及 系统 (57)摘要 本发明公开了一种基于偏振影像的阴影植 被提取方法及系统， 该方法包括： 获取阴影区植 被在自然光下的自然图像和在偏振下的偏振图 像； 根据偏振 图像计算线偏振度信息， 得到线偏 振度图像； 对自然 图像和线偏振度图像预处理， 将预处理后的自然图像和线偏振度图像输入至 预先配置的基于双输入残差的卷积神经网络模 型， 通过卷积神经网络模型输出阴影植被提取分 割图。 本发明通过引入偏振信息， 从而能够对阴 影条件带来的极端明 暗差异进行信息补充， 丰富 植被的纹理、 结构等特征， 有效提高了阴影条件 下的植被分割效果。 基于双输入残差的卷积神经 网络模型同时提取RGB图像特征与线偏 振度图像 特征， 将两种信息的特征融合进行植被提取， 有 效提高了植被提取精度。 权利要求书2页 说明书8页 附图2页 CN 115376009 A 2022.11.22 CN 115376009 A 1.一种基于偏振影 像的阴影植被提取 方法， 其特 征在于， 包括： 获取阴影区植被在自然光下的自然图像以及 在偏振下的偏振图像； 根据所述偏振图像 计算线偏振度信息， 得到线偏振度图像； 对所述自然图像和所述线偏振度图像预处理， 并将预处理后的自然图像和线偏振度图 像输入至预先配置的基于双输入残差的卷积神经网络模型， 通过基于双输入残差的卷积神 经网络模型输出 阴影植被提取分割图。 2.根据权利要求1所述的基于偏振影像的阴影植被提取方法， 其特征在于， 获取阴影区 植被在偏振下 的偏振图像包括： 通过偏振相 机拍摄偏振影像， 得到个方向偏振滤波器的偏 振图， 其中， 4个方向包括0 °方向、 45°方向、 90°方向以及13 5°方向。 3.根据权利要求2所述的基于偏振影像的阴影植被提取方法， 其特征在于， 根据 所述偏 振图像计算线偏振度信息包括： 获取所述偏振图像的Sto kes参数， 所述Sto kes表示为： 其中， I0°、 I45°、 I90°和I135°分别为0°、 45°、 90°和135°方向的偏振光强。 Ir、 I1分别为右旋 偏振光、 左旋偏振光； S0为无偏振情况下的自然光强， S1为水平或者垂直 方向的线偏振光强， S2为与S1成45°角的线偏振光强， S3为圆偏振光强， 且圆偏振光强分量由圆偏振片成像获得； 根据所述Sto kes参数， 通过以下计算公式计算线偏振度信息Do LP： 4.根据权利要求3所述的基于偏振影像的阴影植被提取方法， 其特征在于， 对所述自然 图像和所述线偏振度图像预处理包括： 将原始自然图像和原始线偏振度图像裁剪为若干固 定像素值的自然图像小图和线偏振度图像小图。 5.根据权利要求4所述的基于偏振影像的阴影植被提取方法， 其特征在于， 还包括预先 配置基于双输入残差的卷积神经网络模型， 且预先配置基于双输入残差的卷积神经网络模 型包括： 搭建待训练的基于双输入残差的卷积神经网络模型； 构建卷积神经网络损失函数， 结合神经网络损失函数对所述基于双输入残差的卷积神 经网络模型进行训练， 得到最优精度的卷积神经网络模型； 其中， 所述基于双输入残差的卷积神经网络模型包括编码器模块以及解码器模块， 编 码器模块采用ResNet101网络作为基特征提取网络结构， 编码 器模块包括五个卷积块、 一个 空洞空间金字塔模块AS PP以及一个融合器， 解码器模块包括两个卷积块和一个融合器。 6.根据权利要求5所述的基于偏振影像的阴影植被提取方法， 其特征在于， 所述卷积神 经网络损失函数为交叉熵损失函数， 其公式为： 式中， Loss为函数损失， yi表示第i个像元的真实值， y ′i表示第i个像元的模型预测值， n 为一张图像中的总像素值。权　利　要　求　书 1/2 页 2 CN 115376009 A 27.根据权利要求5所述的基于偏振影像的阴影植被提取方法， 其特征在于， 预先配置基 于双输入残差的卷积神经网络模型还 包括： 在结合神经网络损失函数对所述基于双输入残差的卷积神经网络模型进行训练时， 通 过随机梯度下降函数， 对每 个参数进行 更新迭代训练， 并通过Po ly学习率衰减调整学习率。 8.根据权利要求5所述的基于偏振影像的阴影植被提取方法， 其特征在于， 将预处理后 的自然图像和线偏振度图像输入至预先配置的基于双输入残差的卷积神经网络模型， 通过 基于双输入残差的卷积神经网络模型输出 阴影植被提取分割图包括： 将所述基于双输入残差的卷积神经网络模型中ResNet 101网络的第一个残差部分输出 作为低级特 征图； 将所述基于双输入残差的卷积神经网络模型中ResNet 101网络的第四个残差部分输出 作为高级 特征； 并将高级 特征叠加后， 输入空洞空间金字塔模块ASPP， 通过不同膨胀率的空 洞卷积提取不同尺度的特 征； 通过融合器对提取出的不同尺度特征进行叠加融合形成高级特征图； 并对所述高级特 征图进行4 倍上采样； 将所述低级特征图与进行4倍上采样后的高级特征图通过融合器进行叠加融合， 并将 叠加融合后的特 征图进行4 倍上采样， 输出 得到阴影植被提取分割图。 9.一种基于偏振影 像的阴影植被提取系统， 其特 征在于， 包括： 图像获取模块， 用于获取阴影区植被在自然光下的自然图像以及在偏振下的偏振图 像； 线偏振度计算模块， 用于根据所述偏振图像 计算线偏振度信息， 得到线偏振度图像； 模型分割提取模块， 用于对所述自然图像和所述线偏振度图像预处理， 并将预处理后 的自然图像和线偏振度图像输入至预先配置的基于双输入残差的卷积神经网络模型， 通过 基于双输入残差的卷积神经网络模型输出 阴影植被提取分割图。 10.根据权利要求9所述的基于偏振影像的阴影植被提取系统， 其特征在于， 所述基于 双输入残差的卷积神经网络模型包括编码器模块以及解码器模块， 编码器模块采用 ResNet101网络作为基特征提取网络结构， 编码 器模块包括五个卷积块、 一个空洞空间金字 塔模块AS PP以及一个融合器， 解码器模块包括两个卷积块和一个融合器； 且通过基于双输入残差的卷积神经网络模型输出阴影植被提取分割图时， 将所述基于 双输入残差的卷积神经网络模型中ResNet101网络的第一个残差部分输出作为低级特征 图； 将所述基于双输入残差的卷积神经网络模型中ResNet101网络的第四个残差部分输出 作为高级 特征； 并将高级 特征叠加 后， 输入空洞空间金字塔模块ASPP， 通过不同膨胀率的空 洞卷积提取不同尺度的特征； 通过融合器对提取出的不同尺度特征进 行叠加融合形成高级 特征图； 并对所述高级特征图进行4倍上采样； 将所述低级特征图与进行4倍上采样后的高 级特征图通过融合器进 行叠加融合， 并将叠加融合后的特征图进 行4倍上采样， 输出得到阴 影植被提取分割图。权　利　要　求　书 2/2 页 3 CN 115376009 A 3