2021100437278一种基于注意力机制和关系网络的自动驾驶图像识别方法.pdf

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN112800871B
(45)授权公告日2022.08.26
(21)申请号202110043727.8G06V10/764(2022.01)
(22)申请日2021.01.13G06V10/84(2022.01)
(65)同一申请的已公布的文献号(56)对比文件
申请公布号CN112800871ACN110059582A,2019.07.26
CN111199233A,2020.05.26
(43)申请公布日2021.05.14CN111582044A,2020.08.25
(73)专利权人南京邮电大学孙鹏等.基于注意力卷积神经网络的大豆害
地址210000江苏省南京市雨花台区软件虫图像识别《.中国农机化学报》.2020,(第02
大道186号期),
(72)发明人吴家皋惠志磊耿辰渠啸审查员武茹茹

(74)专利代理机构南京苏高专利商标事务所
(普通合伙)32204
专利代理师柏尚春
(51)Int.Cl.
G06V20/56(2022.01)
G06K9/62(2022.01)权利要求书1页说明书3页附图1页
(54)发明名称
一种基于注意力机制和关系网络的自动驾
驶图像识别方法
(57)摘要
本发明提出了一种基于注意力机制和关系
网络的自动驾驶图像识别方法，首先，使用卷积
神经网络提取自动驾驶图像特征；接着，通过注
意力机制计算注意力特征；然后，利用关系网络
生成图像中对象之间的关系结果；最后通过损失
函数训练网络，并用训练好的模型进行自动驾驶
场景的关系判断。本发明运用关系网络识别自动
驾驶图像，能显式表达图像中对象之间的关系，
从而提高识别和推理的准确性；此外，引入了新
的注意力机制，降低了模型在处理复杂自动驾驶
场景时的计算复杂度，提高了模型有效性和学习
效率。
CN112800871B
CN112800871B权利要求书1/1页

1.一种基于注意力机制和关系网络的自动驾驶图像识别方法，其特征在于，包括以下
步骤：
(1)提取自动驾驶图像特征并进行预处理；
(2)通过注意力机制计算自动驾驶图像注意力特征；
(3)利用关系网络构造注意力向量关系对，计算生成关系结果B；
(4)将步骤(3)生成的最终关系B与目标关系向量O计算欧氏距离作为损失函数值，最后
再反馈回整个神经网络，反复进行训练，直到模型收敛；
(5)用训练好的模型进行自动驾驶场景关系判断；
所述步骤(3)包括以下步骤：
c
(31)对于Fatt中任意空间位置的特征向量aij∈R,i,j∈[1,d]，仅当掩码M对应位置的
c+t
元素mij∈M为1时，构造注意力向量Aij＝<aij,i,j>,Aij∈R，其中，t为位置信息<i,j>的长

度，数值上t＝2log2d，将所有注意力向量加入集合S＝{Aij|i,j∈[1,d]}；

(32)将集合S中的任意元素Aij，Alk两两组合构成关系对<Aij，Alk>，并传入多层感知器网
256
络MLP得到获得相应的关系向量Bijlk∈R；

(33)将生成的所有关系向量Bijlk逐元素相加依次传入MLP和softmax函数层，生成最终
的关系结果B。
2.根据权利要求1所述的基于注意力机制和关系网络的自动驾驶图像识别方法，其特
征在于，所述步骤(1)包括以下步骤：
(11)自动驾驶数据集由一系列图像组成，设任一图像为I∈RW×H×C，其中，W为像素宽度，
H为像素高度，C为通道数；对于每一幅图像，标注出其中的对象，并定义对象之间的关系，然
后将所有对象与当前自动驾驶车辆以及它们两两之间的关系向量作为训练目标O；
(12)将图像I输入卷积神经网络，进行4次卷积操作，得到特征映射F，F∈Rc×d×d，其中，c
是通道特征维度，d为空间特征的宽度及高度，卷积核尺寸为5×5×24。
3.根据权利要求1所述的基于注意力机制和关系网络的自动驾驶图像识别方法，其特
征在于，所述步骤(2)包括以下步骤：
(21)对于特征映射F，在通道维度上使用最大池化层和平均池化层，聚化特征F的空间
信息，产生最大池化特征MP∈Rd×d和平均池化特征AP∈Rd×d；
(22)对MP和AP同时进行单层卷积操作，卷积核尺寸为1×1，得到压缩特征矩阵N＝Conv
(MP,AP),N∈Rd×d；
(23)将压缩特征矩阵N传入softmax函数，生成概率矩阵P，再将P传入二值化函数，获得
0‑1注意力掩码M∈{0,1}d×d；

(24)将特征F与掩码M以广播方式逐个元素相乘，以得到注意力特征Fatt，即：
c×d×d
Fatt∈R。
4.根据权利要求2所述的基于注意力机制和关系网络的自动驾驶图像识别方法，其特
征在于，步骤(11)所述的对象包括人、车、道路、路边设施、障碍物；所述的对象