(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211130499.9 (22)申请日 2022.09.16 (71)申请人 哈尔滨工程大 学 地址 150001 黑龙江省哈尔滨市南岗区南 通大街145号哈尔滨工程大学科技处 知识产权办公室 (72)发明人 郑丽颖　张钰渤　 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于图卷积神经网络的多目标跟踪方 法 (57)摘要 本发明提供一种基于图卷积神经网络的多 目标跟踪方法， 将目标外观特征、 目标运动特征 和交互特征用于跟踪过程。 采用的方案是： 首先， 构建由重识别(Re ‑identification， ReID)模块、 外观GCN、 运动GCN、 外观融合模块、 位置融合模 块、 边权重融合模块和特征相似度融合模块构成 的跟踪模型。 然后， 将目标外观信息和位置信息 作为模型输入， 利用跟踪模型中的多种融合模块 实现目标外观信息和运动信息的多层次融合。 接 下来， 利用Adam优化器和二元交叉熵损失函数训 练上述目标跟踪模型。 然后， 将检测器获得检测 结果输入训练好的跟踪模型， 得到关联矩阵， 并 利用匈牙利算法得到初步匹配结果。 最后， 使用 线性插值 算法得到多目标跟踪结果。 权利要求书2页 说明书5页 附图1页 CN 115424182 A 2022.12.02 CN 115424182 A 1.一种基于图卷积神经网络的多目标跟踪方法， 其特 征在于， 步骤如下： 步骤1： 跟踪网络构建， 跟踪网络主要包括7个模块： ReID模块、 外观GCN、 运动GCN、 外观 融合模块、 位置融合模块、 边权 重融合模块和特 征相似度融合模块； 步骤2： 跟踪网络训练： 令输入为视频图像及其MOT17 ‑Trackor的检测结果， 设每个目标 的检测结果由(t,x,y,w,h)表示， 其中x， y分别表示目标框左上角的横、 纵坐标， w， h分别表 示目标框的宽度和高度， t 表示时间戳； 步骤3： 多目标跟踪： 步骤3.1： 输入待跟踪视频， 利用MOT17 ‑Trackor检测器获得检测结果； 步骤3.2： 利用步骤2训练好的跟踪模型 得到关联矩阵S； 步骤3.3： 将关联矩阵S输入到匈 牙利算法中， 得到初步匹配结果； 步骤3.4： 按照初步匹配结果更新各目标的轨 迹； 步骤3.5： 重复步骤3.1 ‑3.4直至视频最后一帧， 得到所有视频帧目标的初步匹配结果； 步骤3.6： 利用线性插值算法处理所有视频帧目标的初步匹配结果， 得到最终多目标跟 踪结果。 2.根据权利要求1所述的一种基于图卷积神经网络的多目标跟踪方法， 其特征在于， 步 骤1具体包括： 步骤1.1： 构建外观GCN： 外观GCN由2个图卷积层和1个批量归一化层组成， 并在第一个 图卷积层后使用ReLU激活函数； 外观GCN用于编码外观交 互信息； 步骤1.2： 构建运动GCN： 运动GCN也由2个图卷积层和1个批量归一化层组成， 并在第一 个图卷积层后使用ReLU激活函数； 运动GCN用于编码运动交 互信息 步骤1.3： 构建外观融合模块、 位置融合模块、 边权重融合模块和特征相似度融合模块； 每个融合模块由1个线性层组成， 激活函数为ReLU。 3.根据权利要求1所述的一种基于图卷积神经网络的多目标跟踪方法， 其特征在于， 步 骤2具体包括： 步骤2.1： 利用MOT17 ‑Trackor的目标检测结果在输入视频中裁剪出各个目标对应的图 像块， 将各图像块输入ReID模块， 得到各个目标的512维外观特征， 并将轨迹中对象的平均 特征作为轨 迹外观特征； 步骤2.2： 计算边权重： 对于t ‑1帧中的任意1个对象和t 帧任意1个对象， 如果它们之间 距离小于距离阈值， 则： 步骤2.2.1： 将外观特 征连接后输入外观融合模块中， 得到 外观相似度； 步骤2.2.2： 将位置坐标 连接后输入位置融合模块中， 得到位置相似度； 步骤2.2.3： 将外观相似度和位置相似度连接后输入边权 重融合模块， 得到边权 重； 步骤2.3： 构建运动GCN的输入和初始边权重： 当前帧和上一帧对象的位置坐标作为运 动GCN的输入特 征， 并将步骤2.2的计算结果作为初始边权 重； 步骤2.4： 构建外观GCN的输入和初始边权重： 当前帧的外观特征和轨迹中对象的平均 特征作为外观GCN的输入特 征， 步骤2.2的中计算结果作为初始边权 重； 步骤2.5： 计算外观交互特征余弦相似度、 运动交互特征余弦相似度、 外观特征余弦相 似度和边界框 重叠度， 并输入到特 征相似度融合模块； 步骤2.6： 构造(M+1) ×(N+1)维关联矩阵S＝[sm,n]： 其中M表示轨迹中对象数， N表示当权　利　要　求　书 1/2 页 2 CN 115424182 A 2前帧检测 对象数， sm,n为步骤2.5的特征相似度融合模块的输出结果， m＝1 …M表示第m个轨 迹对象， n ＝1…N表示第n个 检测对象， S的最后一行和一列 均元素为1； 步骤2.7： 利用公式(1)和公式(2)所示的最优传输算法— —Sinkhorn更新矩阵S； 步骤2.6： 利用Adam优化器和加权二元交叉熵损失函数训练上述模型， 得到训练好的多 目标跟踪模型。权　利　要　求　书 2/2 页 3 CN 115424182 A 3