(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211237746.5 (22)申请日 2022.10.10 (71)申请人 北京中煤矿山工程有限公司 地址 100013 北京市朝阳区和平里青年沟 路5号64号楼 (72)发明人 付文俊　张亮　 (74)专利代理 机构 北京冠榆知识产权代理事务 所(特殊普通 合伙) 11666 专利代理师 朱亚琦 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度神经网络的煤矿井壁裂缝识 别方法 (57)摘要 本发明公开一种基于深度神经网络的煤矿 井壁裂缝识别方法， 数据收集模块从矿井井下机 器人采集数据收集图像数据； 对井下机器人采集 的图像信息使用图像增强算法进行增强； 获取煤 矿井壁裂缝目标图像、 剔除低质裂缝图像、 对 图 像中的裂缝目标进行标注， 构建成煤矿井壁裂缝 数据集； 将数据集构建模块所建立的井壁裂缝数 据集送入改进Efficientdet模型训练模块进行 训练 ， 将 待 检 测的 裂 缝图 像 输 入 到改 进 Efficientdet模型中进行检测， 生成最终的检测 结果； 本发明改进了Efficientdet模型， 在现有 的模型的基础上增加多空间视角融合模块和三 元坐标注 意力模块， 使 得该模型可以克服复杂的 煤矿井下环 境干扰并且解决细小裂缝漏检问题， 提升检测精度。 权利要求书3页 说明书8页 附图3页 CN 115496982 A 2022.12.20 CN 115496982 A 1.一种基于深度神经网络的煤矿井壁裂缝识别方法， 其特 征在于， 包括如下步骤： 步骤100： 数据收集模块(102)从矿井井下机器人采集数据(101)中按照时间顺序收集 原始煤矿井壁裂缝视频数据和原始煤矿井壁裂缝图像数据， 将原始煤矿井壁裂缝视频数据 切分成一帧一帧的切分井壁裂缝图像数据， 并将切分井壁裂缝图像数据与 原始煤矿井壁裂 缝图像数据保存到数据收集模块(102)； 步骤200： 数据处理增强模块(103)获取数据收集模块(102)收集的井壁裂缝图像数据， 并人工手动剔除质量差的井壁裂缝图像数据、 剔除无裂缝 的图像数据； 将筛选过后的井壁 裂缝图像数据进行 数据增强； 步骤300： 将使用数据处理增强模块(103)处理后得到优质井壁裂缝图像数据， 输入到 数据集构建模块(104)中； 对优质井壁图像数据进 行手动标注裂缝区域； 将标注完成的图像 数据按照比例分成训练集与测试集， 完成井壁裂缝 数据集的构建； 步骤400： 将数据集构建模块(104)所建立的井壁裂缝数据集送入改进Efficientdet模 型训练模块(105)进 行训练学习， 将训练过程中测试集裂缝检测精度最高的权重模型保存， 用以检测待检的井壁裂缝图像； 步骤500： 将待检测的井壁裂缝图像送入到结果检测模块(106),由步骤400获取的裂缝 检测精度最高的权 重模型进行检测， 展示检测结果并保存。 2.根据权利要求1所述的一种基于深度神经网络的煤矿井壁裂缝识别方法， 其特征在 于， 步骤20 0中构建的数据增强处 理模块包括以下子步骤： 步骤210： 首先对于收集到的井壁裂缝图像数据进行人工筛选， 剔除由于井下机器人移 动导致的模糊井壁裂缝图像和采集到的正常无裂缝图像； 筛选过后的井壁裂缝图像数据大 于等于80 0张； 步骤220： 采用albumentations库函数中的CLAHE算法进行图像的对比度增强， 使得经 过对比度增强处 理后的井壁裂缝图像数据被深度神经网络检测； 步骤230： 为了扩充数量有限的数据库并且训练出鲁棒性强的检测模型， 对人工筛选过 后的优质井壁裂缝图像数据进 行数据增广， 将优质井壁裂缝图像数据进 行水平/垂 直翻转、 旋转、 缩放、 裁 剪、 剪切和平移处理。 3.根据权利要求1所述的一种基于深度神经网络的煤矿井壁裂缝识别方法， 其特征在 于， 在步骤3 00数据集构建模块(104)中， 包括以下步骤： 步骤310： 将图像数据扩增广的扩增井壁裂缝图像数据按照8： 2的比例划分成训练集与 测试集； 其中训练集是用来训练模型， 测试集是用来测试模型的检测精度； 步骤320： 利用Label  Img软件分别标注划 分完成的井壁裂缝 图像中存在的裂缝区域， 标注时要注意标注框内避免存在干扰物体， 必要时将 较长的井壁裂缝分成若干进 行分段标 注。 4.根据权利要求1所述的一种基于深度神经网络的煤矿井壁裂缝识别方法， 其特征在 于， 步骤40 0改进Efficienedet模型训练模块， 包括以下步骤： 步骤410： 构建改进的主干特征提取网络： 改进的主干特征提取网络中加入多空间视角 融合模块和三元坐标注意力模块， 多层次特征的前三层依旧是由Efficient的不同深度的 特征层构成， 分别命名为： P3,P4,P5； 后两层的特征分别为： 由P5经过多空间视角融合模块和 上采样形成P6； 由P6经过多空间融合 块和上采样形成P7；权　利　要　求　书 1/3 页 2 CN 115496982 A 2步骤420： 将步骤410构建的多层次主干特征P3,P4,P5,P6,P7送入三元坐标注意力模块以 形成改进的多层次主干特 征P3′,P4′,P5′,P6′,P7′； 步骤430： 将改进的多层次主干特征P3′,P4′,P5′,P6′,P7′送入加强特征提取网络BiFPN， 通过将改进的多层次特 征相互融合以获取 更全面的多层次加强特 征P3″,P4″,P5″,P6″,P7″； 步骤440： 将多层次加强特征P3″,P4″,P5″,P6″,P7″送入解码 器Class Prediction Net和 Box Predicti on Net获取预测的目标类别和预测框的位置； 步骤450： 将步骤440中获取的预测框的位置与标注的井壁裂缝数据集带有的真实预测 框输入至公式(1)中计算损失值； L＝α Lce+β Lfocal   (1) 其中α, β 为超参数， α, β 均设为0.5； Lce为二元交叉熵损失函数， Lfocal为focal损失函数， 二者的计算方式如下： Lce＝‑ylog(p)‑(1‑y)log(1‑p)                        (2) Lfocal＝‑y(1‑p)γlog(p)‑(1‑y)pγlog(1‑p)            (3) 其中， 式(2)和式(3)中， y表示数据真实标签值； p表示模型预测标签值； γ表示权重参 数， 通常设为2； 步骤460： 通过步骤450计算出的损失值进行反向传播， 更新网络参数， 如此往复循环步 骤410‑460直至训练至模型收敛； 根据实际经验， 模型训练轮数设置为3 0轮。 5.根据权利要求4所述的一种基于深度神经网络的煤矿井壁裂缝识别方法， 其特征在 于， 在步骤410中， 建立多空间视角融合模块， 包括以下子步骤： 步骤411： 将Efficient骨干网络提取的特 征P5送入多空间视角融合模块； 步骤412： P5∈RN×C×H×W沿通道维度切分为两部分： X1∈RN×α C×H×W,X2∈RN×(1‑α )C×H×W； 其中X1 为原始特征， 不参与多空间视角融合运算， 保证原始特征图可以访问； X2参与多视角建模操 作； 其中N， C， H， W和α 分别表 示训练数据批量大小、 通道数、 图像高度、 图像宽度、 通道数切分 率； 步骤413： 首 先将X2送入多视角分支1； X2分别经过1*1卷积、 3 *1卷积和1* 3卷积获取 步骤414： 然后将X2送入多视角分支 2； X2分别经过1*1卷积、 5 *1卷积和1* 5卷积获取 步骤415： 最后将X2送入多视角分支3； X2分别经过1*1卷积、 7*1卷积和1*7 卷积获取 步骤416： 利用公式(4)计算多视角空间特 征X2′； 其中δ 为激活函数， β1, β2, β3为可以通过梯度反向传播进行 学习更新的参数； 步骤417： 利用公式(5)计算整体融合特 征X； X＝Concat(X1,X2′)                    (5) 其中Concat代表将特征沿着通道维度拼接 。 6.根据权利要求4所述的一种基于深度神经网络的煤矿井壁裂缝识别方法， 其特征在 于， 步骤420中的三元坐标注意力模块包括以下子步骤： 步骤421： 将步骤410构建 的多层次特征P3,P4,P5,P6,P7分别送入三元坐标注意力模块， 以获取改进的多层次特 征P3′,P4′,P5′,P6′,P7′； 步骤422： 以特征层P3为例， 首先将P3∈RC×H×W输入到三元坐标注意力模块的分支1， 将其权　利　要　求　书 2/3 页 3 CN 115496982 A 3