(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211120996.0 (22)申请日 2022.09.15 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 邓建华　秦琪怡　杨杰　李龙　 何佳霓　代铮　赵建恒　陶泊昊　 郑凯文　苟晓攀　陈昱辰　魏卓　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 周刘英 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/62(2022.01) G06V 10/26(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) G06N 3/04(2006.01) (54)发明名称 一种轻量化的目标检测与基于语义分割的 自动跟踪方法 (57)摘要 本发明公开了一种轻量化的目标检测与基 于语义分割的自动跟踪 方法， 属于目标检测和目 标跟踪技术领域。 本发明首先设置了一种轻量化 的目标检测网络， 用于获取图像中待检测目标的 坐标信息和类别结果， 为后续跟踪步骤中对新目 标的进入和旧目标消失的辨别做 准备； 进而在语 义分割的目标跟踪算法的基础之上， 实现对目标 的自动初始化 以及目标从边界进入和消失的识 别； 本发明可以应用于公共安全、 边防巡检、 农业 植保、 救灾救火等垂直应用领域， 提升对指定目 标的检测与跟踪性能。 权利要求书2页 说明书8页 附图5页 CN 115482256 A 2022.12.16 CN 115482256 A 1.一种轻量化的目标检测与基于语义分割的自动跟踪方法， 其特征在于， 包括下列步 骤： 步骤1： 构建并训练轻量 化的目标检测网络： 步骤1.1： 以416 ×416×3的图像作为目标检测网络的输入， 输入图像首先经过一次卷 积核为3×3的普通卷积操作， 得到208 ×208×32的特征层； 其中， 完成一次普通卷积操作 依 次包括卷积运 算， 批归一 化和ReLu函数激活； 步骤1.2： 对步骤1.1获得的208 ×208×32的特征层进行多次深度可分离卷积操作， 并 将最后三次的深度可分离卷积操作输出的特征层经让通道数扩增的下采样操作后， 输出尺 度分别为52 ×52×256、 26×26×512、 13×13×1024的三个特 征层分别标记为P3、 P4、 P5； 其中， 完成一次深度可分离卷积操作包括： 首先经过3 ×3的深度卷积， 然后进行批归一 化和ReLU函数激活， 接着采用1 ×1的卷积核实现逐点卷积， 再进行批归一化和ReLU函数激 活操作， 得到一次深度可分离卷积 操作输出的特 征层； 其中， 深度卷积的步长设置为1； 步骤1.3： 将特 征层P3、 P4、 P5 输入至特 征增强模块进行增强处 理， 具体如下： 步骤1.3‑1： 将特征层P5依次利用四个不同尺度的池化核执行最大池化处理， 其中四个 池化核大小分别 为13×13、 9×9、 5×5、 1×1， 并将最大池化后得到的4个特征层拼接堆叠， 再通过卷积核为1 ×1的普通卷积， 调整为13 ×13×512的特征层， 并记为特 征层P6； 步骤1.3‑2： 将特征层P3、 P4、 P5和P6依次执行卷积核为3 ×3的普通卷积， 使得4个特征 层的通道数保持一致， 继而以 “P6‑P5‑P4‑P3”的方向完成多次上采样操作和与相邻层特征 层逐点信息相加的操作， 接着再以 “P3‑P4‑P5‑P6”的方向完成多次下采样操作和与相邻层 特征层逐点信息相加的操作， 最后得到4个特 征层的输出； 步骤1.3‑3： 步骤1.3 ‑2为完成一次双向融合网络， 记为一个block， 将该block的输出经 卷积核为3 ×3的普通卷积后， 再次作为下一层block的输入， 多次重复执行步骤1.3 ‑2， 完成 最后一次bl ock操作后， 将最终得到的4个特 征层作为下一 步骤的输入； 步骤1.4： 定义k表示用于训练 目标检测网络的数据集包含的目标类别数， 对步骤1.3 ‑3 输出的4个特征层， 完成卷积核为3 ×3和1×1的交替卷积， 共计5次卷积， 将4个特征层的通 道数统一调整为(k +5)×3， 用于预测结果信息的解码， 即预测目标的中心点坐标、 预测框的 宽和高、 预测框的置信度以及k类目标的编码； 步骤1.5： 对用于训练目标检测网络的数据集中的图像进行图像预处理， 使图像尺寸调 整为416×416×3后， 对步骤步骤1.1至步骤1.4所限定的目标检测网络进行网络模型训练 处理， 当满足阈值的训练结束条件时， 得到训练好的目标检测网络执 行步骤2； 步骤2： 基于语义分割的自动跟踪： 根据使用者指定的跟踪目标的范围及跟踪目标的优先级， 对目标检测模型检测出的目 标进行排序， 将排序第一的目标作为待观测目标， 并基于待观测目标的中心 点坐标， 目标框 的宽、 高信息封装传 入指定的目标跟踪算法， 即以待观测目标为当前跟踪目标， 并启动跟踪 模型对当前跟踪目标进行跟踪； 对当前跟踪目标进行跟踪时， 通过填充区域的方式判断当前跟踪目标是否进入检测范 围的边界区域， 若是， 则继续跟踪， 若否， 则通过区域划分检测的方式判断从边界离开的当 前跟踪目标是否在指定时长内重回观测画面， 若重回观测画面， 则继续通过填充区域的方 式判断当前跟踪目标是否进入检测范围的边界区域； 若未重回观测画面， 则依靠区域检测权　利　要　求　书 1/2 页 2 CN 115482256 A 2次数判断当前跟踪目标是否已永久离开监测范围； 若是， 则重新找寻新的待观测目标， 若 否， 则通过区域划分检测的方式判断从边界离开的当前跟踪目标是否在指 定时长内重回观 测画面。 2.如权利 要求1所述的方法， 其特征在于， 步骤2中， 目标跟踪算法为Si amMask目标跟踪 算法。 3.如权利要求1所述的方法， 其特征在于， 步骤2中， 若当前跟踪目标从边界离开后连续 指定帧数内未检测到进入边界的同类别目标时， 则认为当前跟踪目标永久 离开监测范围。权　利　要　求　书 2/2 页 3 CN 115482256 A 3