一种基于孪生网络的目标跟踪方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114299113A(43)申请公布日2022.04.08(21)申请号202111614814.0(22)申请日2021.12.27(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人魏振忠蔡雁南谈可(74)专利代理机构北京高沃律师事务所11569代理人刘芳(51)Int.Cl.G06T7/246(2017.01)G06T7/11(2017.01)G06K9/62(2022.01)G06V10/774(2022.01)G06V10/764(2022.01)G06V10/80(2022.01)权利要求书2页说明书9页附图5页(54)发明名称一种基于孪生网络的目标跟踪方法及装置(57)摘要本发明涉及一种基于孪生网络的目标跟踪方法及装置，方法包括：获取目标跟踪的图像；对所述图像进行增强和裁剪得到模板图和搜索图；根据所述模板图和所述搜索图利用目标跟踪网络得到分类得分图和回归得分图；所述目标跟踪网络包括依次连接的特征提取网络、特征融合网络和分类回归网络；所述目标跟踪网络在训练阶段利用动态样本标签分配方法进行样本标签分配；利用所述分类得分图和所述回归得分图确定目标预测框。本发明在保证跟踪器速度的情况下提高目标定位的准确性。CN114299113ACN114299113A权利要求书1/2页1.一种基于孪生网络的目标跟踪方法，其特征在于，包括：获取目标跟踪的图像；对所述图像进行增强和裁剪得到模板图和搜索图；根据所述模板图和所述搜索图利用目标跟踪网络得到分类得分图和回归得分图；所述目标跟踪网络包括依次连接的特征提取网络、特征融合网络和分类回归网络；所述目标跟踪网络在训练阶段利用动态样本标签分配方法进行样本标签分配；利用所述分类得分图和所述回归得分图确定目标预测框。2.根据权利要求1所述的基于孪生网络的目标跟踪方法，其特征在于，所述目标跟踪网络的训练过程，具体包括：对训练集的搜索图和模板图利用动态样本标签分配方法进行标签分配，得到带有标签的正样本和带有标签的负样本；将所述训练集的搜索图和模板图利用所述特征提取网络进行特征提取，得到特征图；将所述特征图利用所述特征融合网络进行特征融合得到特征融合图；将所述特征融合图输入所述分类回归网络得到训练集分类得分图和训练回归得分图；根据所述训练集分类得分图、所述训练回归得分图、所述带有标签的正样本和所述带有标签的负样本确定网络损失函数；根据所述网络损失函数利用随机梯度下降法对目标跟踪网络进行训练，得到训练好的目标跟踪网络。3.根据权利要求2所述的基于孪生网络的目标跟踪方法，其特征在于，所述对训练集的搜索图和模板图利用动态样本标签分配方法进行标签分配，得到带有标签的正样本和带有标签的负样本，具体包括：分别以所述搜索图和所述模板图为中心设置锚点并在所述锚点上平铺多个锚框；计算所有锚点与真实目标框中心点之间的欧式距离并根据所述欧氏距离选择设定数量的锚点；根据所述设定数量的锚点与所述真实目标框之间的交并比确定带有标签的正样本和带有标签的负样本。4.根据权利要求3所述的基于孪生网络的目标跟踪方法，其特征在于，所述根据所述设定数量的锚点与所述真实目标框之间的交并比确定带有标签的正样本和带有标签的负样本，具体包括：计算所有交并比的均值和标准差；根据所述均值和所述标准差进行求和确定设定参数；判断设定锚框的交并比是否大于或者等于所述设定参数，所述设定锚框为所述设定数量的锚点对应的锚框；若是，则确定所述设定锚框为正样本，并确定所述正样本的标签为1；若否，则按照设定比例进行随机分配，得到负样本和忽略样本；所述负样本的标签为0；所述忽略样本的标签为‑1。5.根据权利要求2所述的基于孪生网络的目标跟踪方法，其特征在于，所述网络损失函数的表达式为：2CN114299113A权利要求书2/2页其中，为网络损失函数，w为分类得分图的长，h为分类得分图的宽，m为分类得分图的高，y为样本集合的标签，为分类得分图，其中(i,j,k)分别为样本在分类得分图上的横坐标、纵坐标及锚框顺序。6.根据权利要求1所述的基于孪生网络的目标跟踪方法，其特征在于，所述对所述图像进行增强和裁剪得到模板图和搜索图，具体包括：对所述图像进行裁剪和填充，得到重采样图像；对所述重采样图像进行数据增强，得到增强图像；对所述增强图像进行裁剪得到模板图和搜索图。7.根据权利要求1所述的基于孪生网络的目标跟踪方法，其特征在于，所述利用所述分类得分图和所述回归得分图确定目标预测框，具体包括：根据所述分类得分图得到多个锚框的分类得分；根据所述分类得分确定预测目标框；所述预测目标框为分类得分最高的锚框；根据所述回归得分图的偏差量进行尺度和宽高比惩罚，得到预测回归框；将所述预测回