(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211177288.0 (22)申请日 2022.09.27 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 刘海滨　武超　王涣杰　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 刘萍 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/64(2022.01) G06N 3/04(2006.01) G01S 17/86(2020.01) (54)发明名称 一种基于激光雷达和相机数据融合的实时 目标检测方法 (57)摘要 本发明公开了一种基于激光雷达和相机数 据融合的实时目标检测方法， 该方法采用卷积神 经网络模型实现， 具体包括： 构建传感器联合标 定矩阵， 将3D激光雷达点云图映射到2D平面转成 深度图； 搭建包括两个相同并行分支的孪生卷积 网络模型， 分别提取深度图和彩色图中的特征张 量； 在此基础上， 提出一种基于特征层融合的数 据融合方法， 将所提取的多尺度特征张量通过叠 加运算进行多模态数据融合， 并将融合数据输入 检测头部实现目标检测分类和位置回归。 本发明 提出的基于融合数据的目标检测方法在提高检 测准确率的同时保证了良好的实时性， 综合性能 优于现有目标检测方法。 权利要求书3页 说明书7页 附图2页 CN 115546594 A 2022.12.30 CN 115546594 A 1.一种基于激光雷达和相机数据融合的实时目标检测方法， 其特征在于， 包括以下步 骤： 1)准备待处 理的彩色相机图像数据和对应的激光雷达点云数据； 2)将步骤1)中原始点云数据通过多传感器联合标定， 将点云中每个数据点投影到RGB 图像平面上转成深度图像， 使得RGB图像和深度图像有相同视场范围； 3)构建基于孪生神经网络的目标检测模型， 模型由两个分支组成， 分别卷积处理RGB图 像和深度图像； 4)构建基于特征层融合的交叉融合模块， 孪生网络模型两并行分支由多个卷积层组 成， 模型通过多层卷积提取不同尺寸特征图， 在 并行分支的多个卷积层后添加融合层将非 同质数据的特 征图通过叠加运 算完成多模态数据融合； 5)将RGB图像和对应的深度图像输入到神经网络进行训练， 并在模型收敛后进行检测， 得到最终检测结果。 2.根据权利要求1所述的一种基于激光雷达和相机数据融合的实时目标检测方法， 其 特征在于， 步骤2)中通过多传感器联合标定将点云数据转成深度图； 首先根据公式1， 将点 云数据从激光雷达坐标系旋转平移到相 机坐标系 下； 之后根据公式2将转置后的数据从相 机坐标系透射投影到图像坐标系 下； 最后根据公式3将投影后的数据从图像坐标系缩放到 像素坐标系下； 其中[XC,YC,ZC]为激光雷达坐标系下的坐标， [ XL,YL,ZL]为相机坐标系下的坐标， R为旋 转矩阵， T为平 移矩阵； 其中， f是相机的焦距， [x,y]是图像坐标系下的坐标； 其中， [u,v]是像素坐标系下的坐标， [u0,v0]是像素坐标系的原点。 3.根据权利要求1所述的一种基于激光雷达和相机数据融合的实时目标检测方法， 其 特征在于， 步骤3)中的孪生神经网络目标检测模 型由两个相同的并行分支构成， 其中， 分支 1用来卷积处 理RGB图像， 分支 2用来卷积处 理深度图像， 两 输入图像尺寸均为(W， H)。 4.根据权利要求3所述的一种基于激光雷达和相机数据融合的实时目标检测方法， 其权　利　要　求　书 1/3 页 2 CN 115546594 A 2特征在于， 每个 分支的特征提取网络为Darknet53， 包括6个卷积层和5组残差模块， 依次为： 第1个卷积层， 卷积核大小为3 ×3,步长为1， 通道数为32， 输出尺寸为 第2个卷 积层， 卷积核大小为3 ×3,步长为2， 通道数为64， 输出尺寸为 第1组残差模块， 由1个残差模块组成， 输出尺寸为 第3个卷积层， 卷积核大小为3 ×3,步长为2， 通道数为128， 输出尺寸为 第2组残差模块， 由2个残差模块组成， 输出尺寸为 第4个卷积层， 卷积核大小为3 ×3,步长为2， 通道数为256， 输出尺寸为 第3组残差模块， 由8个残差模块组成， 输出尺寸为 第5个卷积 层， 卷积核大小为3 ×3,步长为2， 通道数为512， 输出尺寸为 第4组残差模块， 由8个残差模块组成， 通道数为512， 输出尺 寸为 第6个卷积层， 卷积核 大小为3 ×3,步长为2， 通道数为1024， 输出尺寸为 第5组残差模块， 由4个残差模块组 成， 输出尺寸 为 5.根据权利要求4所述的一种基于激光雷达和相机数据融合的实时目标检测方法， 其 特征在于， 第1组残差模块中的每个残差模块， 由2个卷积层和1个残差单元 组成， 第1个卷积 层卷积核大小为1 ×1， 步长为1， 通道数为32； 第2个卷积层卷积核大小为3 ×3， 步长为1， 通 道数为64； 第2组残差模块中的每个残差模块， 由2个卷积层和1个残差单元 组成， 第1个卷积 层卷积核大小为1 ×1， 步长为1， 通道数为64； 第2个卷积层卷积核大小为3 ×3， 步长为1， 通 道数为128； 第3组残差模块中的每个残差模块， 由2个卷积层和1个残差单元组成， 第1个卷 积层卷积核大小为1 ×1， 步长为1， 通道数为 128； 第2个卷积层卷积核 大小为3×3， 步长为1， 通道数为256； 第4组残差模块中的每个残差模块， 由2个卷积层和1个残差单元组成， 第1个 卷积层卷积核大小为1 ×1， 步长为 1， 通道数为256； 第2个卷积层卷积核大小为3 ×3， 步长为 1， 通道数为512； 第5组残差模块中的每个残差模块， 由2个卷积层和1个残差单元组成， 第1 个卷积层卷积核 大小为1×1， 步长为1， 通道数为512； 第2个卷积层卷积核 大小为3×3， 步长 为1， 通道数为1024。 6.根据权利要求1所述的一种基于激光雷达和相机数据融合的实时目标检测方法， 其 特征在于， 步骤4)中的基于特征层融合的交叉融合模块， 由3个加法层组成； 加法层通过对 两分支卷积得到的多维特征向量图中特征值进行加运算， 在不改变特征图维度情况下将深 度图像和RGB图像的特征图信息融合， 多次融合可加深融合程度使两非同质数据充分融合； 其中， 第1个加法层放在两分支的第3组残差模块后， 将两分支尺寸为 的特征图 C13和C23通过加运算生成尺寸为 的特征图C1,23； 第2个加 法层放在两分支的第4 组残差模块后， 将两分支尺寸为 的特征图C14和C24通过加运算生成尺寸为权　利　要　求　书 2/3 页 3 CN 115546594 A 3