车辆感知系统的评估方法、装置、车辆及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115100614A(43)申请公布日2022.09.23(21)申请号202210707488.6G06N3/04(2006.01)(22)申请日2022.06.21G06N3/08(2006.01)(71)申请人重庆长安汽车股份有限公司地址400020重庆市江北区鱼嘴镇长安汽车全球研发中心(72)发明人马金燕罗咏刚(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201专利代理师黄琼(51)Int.Cl.G06V20/56(2022.01)G06V10/26(2022.01)G06V10/40(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)权利要求书2页说明书10页附图2页(54)发明名称车辆感知系统的评估方法、装置、车辆及存储介质(57)摘要本申请涉及自动驾驶技术领域，特别涉及一种车辆感知系统的评估方法、装置、车辆及存储介质，其中，方法包括：获取车辆的源图像；基于预先训练的对抗样本生成网络，添加目标扰动至源图像，得到第一对抗样本，其中，预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；将第一对抗样本输入至车辆的感知系统的多个检测子系统，并根据多个检测子系统检测的多个感知结果得到感知系统的评估结果，由此，通过利用对抗样本攻击的方法，解决了感知系统受到自身潜在漏洞和外界特殊因素的影响，可能无法对交通要素进行正确识别的问题，可以对自动驾驶感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。CN115100614ACN115100614A权利要求书1/2页1.一种车辆感知系统的评估方法，其特征在于，包括以下步骤：获取车辆的源图像；基于预先训练的对抗样本生成网络，添加目标扰动至所述源图像，得到第一对抗样本，其中，所述预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；以及将所述第一对抗样本输入至所述车辆的感知系统的多个检测子系统，并根据所述多个检测子系统检测的多个感知结果得到所述感知系统的评估结果。2.根据权利要求1所述的方法，其特征在于，所述基于预先训练的对抗样本生成网络，添加目标扰动至所述源图像，得到第一对抗样本，包括：提取所述源图像的图像特征；对所述图像特征进行解码生成所述源图像的对抗扰动；对所述对抗扰动和所述源图像进行叠加，得到所述第一对抗样本。3.根据权利要求1所述的方法，其特征在于，在基于所述预先训练的对抗样本生成网络，添加所述目标扰动至所述源图像，得到所述第一对抗样本之前，还包括：获取车辆的待训练源图像；确定所述感知系统中多个感知子系统的的替代网络；基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。4.根据权利要求3所述的方法，其特征在于，所述多个感知子系统包括目标检测子系统、语音分割子系统和车道线检测子系统，所述基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络，包括：获取所述待训练源图像的第二对抗样本；基于所述目标检测子系统的损失函数、所述语音分割子系统的损失函数和所述车道线检测子系统的损失函数，将所述第二对抗样本分别输入至所述目标检测子系统、所述语音分割子系统和所述车道线检测子系统，得到所述目标检测子系统的第一输出结果、所述语音分割子系统的第二输出结果和所述车道线检测子系统的第三输出结果；根据所述第一输出结果、所述第二输出结果和所述第三输出结果，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。5.根据权利要求4所述的方法，其特征在于，所述目标检测子系统的损失函数为：其中，i为第i张图像，CE为交叉熵损失函数，Lloc为smoothL1损失，y′ic为YOLOv5s网络预测的类别信息，为相应的标签信息，y′it预测的位置信息，为相应的标签信息。所述语音分割子系统的损失函数为：其中，i代表为第i张图像，CE为交叉熵损失函数，y′ip为U‑Net对于图片i中每个像素的预测结果，为图像中每个像素真实的标签信息。所述车道线检测子系统的损失函数为：2CN115100614A权利要求书2/2页其中，i代表为第i张图像，Lcls为FocalLoss，Lreg为SmoothL1损失函数，y′icls为LaneATT预测的车道线类别，代表为车道线真实的类别信息，y′ireg代表为LaneATT预测的车道线位置信息，为车道线真实的位置信息。6.一种车辆感知系统的评估装置，其特征在于，包括：获取模块，用于获取车辆的源图像；训练模块，用于基于预先训练的对抗样本生成网络，添加目标扰动至所述源