一种基于视觉和毫米波雷达的融合目标检测和跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113848545A(43)申请公布日2021.12.28(21)申请号202111018876.5G06T7/277(2017.01)(22)申请日2021.09.01(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人李曙光郑珂李振旭赵洋程洪(74)专利代理机构电子科技大学专利中心51203代理人闫树平(51)Int.Cl.G01S13/66(2006.01)G01S13/86(2006.01)G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于视觉和毫米波雷达的融合目标检测和跟踪方法(57)摘要本发明属于计算机视觉与模式识别领域，具体为一种基于视觉和毫米波雷达的融合目标检测和跟踪方法。本发明基于不同坐标系下相同目标的运动特征相同的假设，将图像和毫米波雷达数据视为两个独立的分支进行处理。图像分支中采用CenterTrack完成对目标的跟踪、毫米波雷达分支基于卡尔曼滤波算法进行多目标跟踪，通过跟踪得到目标的短时速度曲线；然后针对跟踪得到目标的短时速度曲线后，依据不同坐标系下相同目标的运动特征相同的假设定义出两者之间的差异度，通过衡量曲线的差异度进行目标匹配。从而在不需要进行相机和毫米波雷达的联合标定的前提下，实现了毫米波雷达和摄像头的目标级融合。CN113848545ACN113848545A权利要求书1/2页1.一种基于视觉和毫米波雷达的融合目标检测和跟踪方法，其特征在于：包括以下步骤：步骤1、分别获取图像目标的短时速度变化曲线以及毫米波雷达目标的短时速度变化曲线；所述图像目标的短时速度变化曲线获取过程为：(1)采用3D目标跟踪网络完成图像目标的检测和跟踪，得到包含目标行为的图像序列；并针对每个图像标注出每个目标的深度值以及每个目标对应的ID；(2)依据t时刻，目标的速度为同一目标相邻两帧的深度差与时间间隔的比值，计算出每个时刻中各个目标的速度值，得到图像中多目标的短时速度变化曲线；所述毫米波雷达目标的短时速度变化曲线的获取过程为：(1)获取与图像时间戳相同的毫米波雷达点云数据，并滤除点云数据中的静止目标；(2)采用最近邻聚类算法对点云数据中的数据点进行聚类，得到多个聚类中心；将每个聚类中心视为一个目标，分别计算出每个时刻各聚类中心的位置坐标和速度值；(3)针对每个聚类中心，分别构建一个卡尔曼滤波器预测下一时刻t+1的位置和速度；再基于位置和速度，采用近邻匹配的方式将预测结果与对应时刻的聚类中心进行匹配，并利用在t+1时刻匹配上的聚类中心对卡尔曼滤波器的参数进行更新，然后以更新后的参数作为下一次预测的初始值；对于未匹配上的聚类中心则直接将当前预测结果作为下一次预测初始值进行下一次预测，若连续两帧都未匹配到对应目标则视为中心已行驶出可观测范围；重复步骤这一过程以实现连续帧中同一目标关联,得到毫米波雷达目标的短时速度变化曲线；步骤2、对图像目标和毫米波目标进行相似度衡量，以实现图像和毫米波雷达的目标极融合(1)根据图像序列与点云数据的时间戳信息，将两者进行时间序列配准，保证两个传感器融合数据的时间一致；(2)基于不同传感器坐标系下同一目标速度相同的假设，定义出毫米波雷达目标与图像目标的速度差异度Vd:其中，vradar,i表示i时刻的毫米波雷达目标速度值，vcamerai,表示i时刻图像目标的速度值。Frame_num表示用于计算速度差异度的帧数；(3)利用定义的速度差异度公式计算同一时刻下，每个毫米波雷达目标与各图像目标的差异度，然后取最小值所对应目标作为匹配结果，以完成两个传感器坐标下的目标相似度衡量，实现图像与毫米波雷达的目标级融合。2.根据权利要求1所述的一种基于视觉和毫米波雷达的融合目标检测和跟踪方法，其特征在于：所述步骤毫米波雷达短时速度曲线获取过程中采用的最近邻聚类算法对点云数据中的数据点进行聚类得到多个聚类中心的过程为：(1)设定两点之间的速度差阈值Tv，距离阈值Td以及速度差容许值ΔvT；2CN113848545A权利要求书2/2页(2)对毫米波雷达每一帧的数据点进行聚类，得到多个聚类中心先选取第一个数据点作为第一聚类中心；再选取第二个数据点，计算第二个数据点与第一聚类中心的速度差和欧氏距离，得到第二个数据点与第一聚类中心的速度差和欧氏距离；将计算出的速度差和欧氏距离与设定阈值比较，当计算出的速度差和欧式距离均大于设定阈值时，则判定第二个数据点为第二聚类中心；从当前剩余数据点中，选取第三个数据点，分别计算第三个数据点与前两个聚类中心的速度差和欧氏距离；当计算出所有速度差和欧式距离都大于设定阈值时，则判定第三个数据点