(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211199537.6 (22)申请日 2022.09.29 (71)申请人 国网四川省电力公司营销服 务中心 地址 610000 四川省成 都市武侯区人民南 路四段50号1楼 (72)发明人 李琪林　严平　蔡君懿　叶润　 (74)专利代理 机构 成都行之专利代理事务所 (普通合伙) 51220 专利代理师 唐邦英 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/10(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于注意力机制实现端到端的森林火 灾检测算法 (57)摘要 本发明公开了一种基于注意力机制实现端 到端的森林火灾检测算法， 包括步骤S1： 收集森 林火灾事件系列图片， 并对其进行预处理； S2： 将 森林火灾事件系列图片的特征分为浓烟与火焰 两个特征表现； 根据相对应的特征表现， 依次为 第一数据集中拼接图赋予第一标签与第二标签 进行标注； S3： 采用卷积神经网络对拼接图提取 2D特征， 并采用交叉注意力机制将提取出的2D特 征进行特征融合； S4： 采用标准COCO数据集进行 预训练， 并通过迁移学习将其迁移至第一数据集 进行训练； 按比例划分为训练集与测试集， 将训 练集送入网络模 型中进行迭代训练， 得到最优模 型； S5： 将测试集中的拼接图送入训练好的最优 模型中， 确认拼接图目标中的类别及位置， 输出 最终结果。 权利要求书2页 说明书6页 附图2页 CN 115512225 A 2022.12.23 CN 115512225 A 1.一种基于注意力机制实现端到端的森林火灾检测算法， 其特 征在于， 包括 步骤： S1： 收集森林火灾事件系列图片， 并对其进行预处理； 先对系列图片进行数据增 强， 之 后按照随机裁剪与随机排布的方式进 行拼接生成拼接图， 将多个生成的拼接图进 行组合生 成第一数据集， 并对第一数据集引入预设高斯噪声； S2： 将森林火灾事件系列图片的特征分为浓烟与火焰两个特征表现； 根据相对应的特 征表现， 依 次为第一数据集中拼接图赋予第一标签与第二标签进行标注； 并将标注后的拼 接图按照其特 征表现的标签， 生成与该图片对应的标签组团， 并按序显示 其标签类别； S3： 采用卷积神经网络对拼接图提取2D特征， 并采用交叉注意力机制将提取出的2D特 征进行特征融合； 其预测头采用前向网络FFN对拼接图的类型信息与定位框进 行预测， 其中 定位框采用匈牙利算法进行二分图匹配， 并对损失函数进行优化； 在多次优化后输出唯一 定位框； S4： 采用标准COCO数据集进行预训练， 并通过迁移学习将其迁移至第一数据集进行训 练； 将第一数据集按比例划分为训练集与测试集， 将训练集送入网络模型中进 行迭代训练， 并采用自适应梯度下降算法调节其学习率， 得到最优 模型； S5： 根据上述步骤S4的训练结果， 将测试集中的拼接图送入训练好的最优模型中， 确认 拼接图目标中的类别及位置， 输出最终结果。 2.根据权利要求1所述的一种基于注意力机制实现端到端的森林火灾检测算法， 其特 征在于， 在上述步骤S1中， 预处理过程采用Mosaic ‑4方法进行数据增强， 并选取4张系列图 片进行拼接组合， 输出一张拼接图。 3.根据权利要求1所述的一种基于注意力机制实现端到端的森林火灾检测算法， 其特 征在于， 所述第一标签与第二标签分别对应浓烟与火焰， 其标注 为YOLO格式标注； 任一一张 拼接图经过标注后都会根据其标签类别依 次生成的标签组团中包括： 标签类别、 标记框中 心横坐标与图片宽度的比值、 标记框中心纵坐标与图片 高度的比值、 标记框宽度与图片宽 度的比值以及标记框高度与图片高度的比值。 4.根据权利要求3所述的一种基于注意力机制实现端到端的森林火灾检测算法， 其特 征在于， 在上述步骤S3中， 采用CNN骨干网络ResNet ‑50模型进行特征提取输出特征图； 在对 图片进行提取之前， 还 先将ResNet ‑50模型加入COCO数据集上进 行预训练， 然后冻结其权重 参数， 再迁移到目标 数据集上进行二次训练后再对拼接图进行2d特 征提取。 5.根据权利要求4所述的一种基于注意力机制实现端到端的森林火灾检测算法， 其特 征在于， 任一拼接图还添加有位置编码， 位置编码采用绝对位置编 码； 任一拼接图的编 码会 根据其不同频率下的正弦余弦函数对空间位置进行计算再进行编码。 6.根据权利要求5所述的一种基于注意力机制实现端到端的森林火灾检测算法， 其特 征在于， 在上述 步骤S3中， 特 征融合过程包括： 将拼接图输入到训练好的ResNet ‑50模型进行2D特征提取， 并将提取的2D特征经过 Flatten()函数扁平化后与位置编码相加， 并传递给6层的Encoder ‑Decoder结构； 其中每 部分的Encoder ‑Decoder采用完全相同的结构。 7.根据权利要求6所述的一种基于注意力机制实现端到端的森林火灾检测算法， 其特 征在于， 在上述步骤S 3中， 前向网络FFN采用由Relu激活函数和3层1*1卷积层组合形成的构 造， 用于对标准化中心坐标、 高度与宽度进行预测， 之后再通过softmax函数激活获取预测权　利　要　求　书 1/2 页 2 CN 115512225 A 2的类型信息 。 8.根据权利要求7所述的一种基于注意力机制实现端到端的森林火灾检测算法， 其特 征在于， 在上述步骤S 3中， 定位框采用匈牙利算法进 行二分图匹配， 使 预测的结果集合与真 实的结果集合中的元素进行一一对应， 其中预测的结果包括类型信息与定位框； 其优化过 程为： 采用标注信息与预测信息做差， 使 得预测的类型信息与标注的类型信息接近一致， 并 使定位框的参数也与真实的参数接近一致令损失函数最小化； 其中， 所述标注信息为真实 的类型信息， 包括物体的位置和类别； 所述预测信息包括定位框的位置和物体 类别的概 率。 9.根据权利要求8所述的一种基于注意力机制实现端到端的森林火灾检测算法， 其特 征在于， 在上述 步骤S4中， 其模型的训练方式包括： 将ResNet ‑50模型中提取的特征图与位置编码依次输入到编码器中进行特征融合， 采 用交叉注意力机制预测 后进行堆叠与正则化防止过拟合， 并通过Feed  Forward层输出预测 结果集合； 在解码器中输入真实时间目标查询编码， 输出真实结果集合， 在并引入上述的预测结 果集合， 在Feed Forward层输出 预测结果 集合与真实结果 集合的比较结果； 将比较结果通过前向网络FNN与匈牙利算法进行优化， 逐渐降低预测结果集合与真实 结果集合的差值， 直到 输出最优结果。 10.根据权利要求9所述的一种基于注意力 机制实现端到端的森林火灾检测算法， 其特 征在于， 在上述步骤S5中， 在训练模型最优权重的过程中， 先在COCO数据集上进行预训练， 然后再迁移至目标数据集上， 不断调整网络模型 的参数， 直到模型能正确输出图像中火焰 和烟雾的位置； 保存训练得到的参数， 完成训练后将最优权 重模型保存并在测试集上测试。权　利　要　求　书 2/2 页 3 CN 115512225 A 3