一种基于正交注意力机制的遥感图像目标检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937502A(43)申请公布日2023.04.07(21)申请号202211483640.3G06N3/0464(2023.01)(22)申请日2022.11.24(71)申请人同济人工智能研究院（苏州）有限公司地址215100江苏省苏州市相城区高铁新城青龙港路58号天成时代商务广场29、30层(72)发明人邓若愚胡尚薇(74)专利代理机构苏州创元专利商标事务所有限公司32103专利代理师王桦(51)Int.Cl.G06V10/25(2022.01)G06V10/82(2022.01)G06V20/10(2022.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于正交注意力机制的遥感图像目标检测方法(57)摘要本发明涉及一种基于正交注意力机制的遥感图像目标检测方法，包括选取基础检测器，并确定特征提取所采用的Backbone，选取训练、验证和测试数据集，对选取的数据进行数据增强操作，使用RoITransformer结构替代基础检测器中的RoI池化操作或者RoI扭曲操作，使用正交注意力机制从水平方向和垂直方向对RoITransformer输出的旋转不变的特征做细化操作，添加全连接层，并使用两个分支分别进行分类和回归，输出每张图片的目标检测和分类结果。本发明通过正交方向的注意力机制建模了水平和垂直两个方向的高频和低频信息，使得检测网络倾向于忽略对于检测任务无用的信息；考虑到了深层局部信息和浅层全局信息的结合，提升了检测模型的性能。CN115937502ACN115937502A权利要求书1/2页1.一种基于正交注意力机制的遥感图像目标检测方法，其特征在于：包括：S1：选取基础检测器，并确定特征提取所采用的主干网络Backbone，S2：选取训练、验证和测试数据集，S3：对选取的数据进行数据增强操作，S4：使用RoITransformer结构替代基础检测器中的RoI池化操作或者RoI扭曲操作，S5：使用正交注意力机制从水平方向和垂直方向对RoITransformer输出的旋转不变的特征做细化操作，S6：添加全连接层，并使用两个分支分别进行分类和回归，输出每张图片的目标检测和分类结果。2.根据权利要求1所述的基于正交注意力机制的遥感图像目标检测方法，其特征在于：在S1中，基础检测器为RCNN；选择在ImageNet上预训练好的ResNet101作为特征提取的主干网络Backbone。3.根据权利要求1所述的基于正交注意力机制的遥感图像目标检测方法，其特征在于：在S2中，选取DOTA数据集进行训练、验证和测试。4.根据权利要求1所述的基于正交注意力机制的遥感图像目标检测方法，其特征在于：在S3中，将S2中得到的结果输入到超分辨率网络中进行数据增强操作。5.根据权利要求1所述的基于正交注意力机制的遥感图像目标检测方法，其特征在于：在S4中，RoITransformer结构包括RRoILearner、RRoIWarping。6.根据权利要求5所述的基于正交注意力机制的遥感图像目标检测方法，其特征在于：RRoILearner包括一个位置敏感的RoIAlign连接着一个五维的全连接层，用于HRoIs和地面真实旋转框的偏差回归，从HRoIs的特征图上学习到旋转的RRoIs。7.根据权利要求6所述的基于正交注意力机制的遥感图像目标检测方法，其特征在于：RRoILearner的回归目标为：*****其中，(xr，yr，wr，hr，θr)表示预测RRoI，(x，y，w，h，θ)表示GTRRoI，并且需要将全局坐标系转化为局部坐标系，h为短边，w为长边，到h的旋转角在[0，π)之间。8.根据权利要求7所述的基于正交注意力机制的遥感图像目标检测方法，其特征在于：RRoIWarping输入为尺寸为(H，W，K×K×C)的特征图D以及RRoI(xr，yr，wr，hr，θr)，输出为RPSRoIAlign分割成K×K块的RRoI，并输出大小为(K×K×C)的特征图y：9.根据权利要求1所述的基于正交注意力机制的遥感图像目标检测方法，其特征在于：在S5中，使用1*3、3*1的卷积用于提取水平方向和垂直方向的深层信息，使用3*3的卷积用于提取深层的局部信息，将上述信息流进行通道级别的连接后通过通道注意力机制对特征2CN115937502A权利要求书2/2页进行细化后采用3*3的卷积恢复其原有的通道。10.根据权利要求1所述的基于正交注意力机制的遥感图像目标检测方法，其特征在于：在S6中，全连接层为2048维。3CN115937502A说明书1/4页一种基于正交注意力机制的遥感图像目标检测方法技术领域[0001]本发明涉及图像处理技术领域，具体涉及一种基于正交注意力机制的遥感图像目标检测