发明授权-2021105453135-RGB-D多模态特征融合3D目标检测方法.pdf

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113408584B
(45)授权公告日2022.07.26
(21)申请号202110545313.5G06N3/08(2006.01)
(22)申请日2021.05.19G06T7/11(2017.01)
G06T7/136(2017.01)
(65)同一申请的已公布的文献号G06T7/194(2017.01)
申请公布号CN113408584AG06T7/73(2017.01)
(43)申请公布日2021.09.17(56)对比文件
(73)专利权人成都理工大学WO2020181685A1,2020.09.17
地址610059四川省成都市成华区二仙桥AU2020101011A4,2020.07.23
东三路1号CN110472534A,2019.11.19
(72)发明人陈光柱侯睿韩银贺唐在作CN111723721A,2020.09.29
茹青君CN112651406A,2021.04.13
CN111612728A,2020.09.01
(51)Int.Cl.杭凌霄.基于RGB-D多模态图像的室内场景
G06V10/80(2022.01)解析算法研究.《中国优秀硕士学位论文全文数
G06V10/774(2022.01)据库(信息科技辑)》.2020,I138-686.
G06V10/82(2022.01)
G06K9/62(2022.01)审查员谢琳
权利要求书2页说明书6页附图3页
(54)发明名称
RGB-D多模态特征融合3D目标检测方法
(57)摘要
本发明提出RGB‑D多模态特征融合3D目标检
测方法。3D目标检测技术可以获得目标的语义信
息、空间尺寸信息，对实现3D智能目标检测着重
要的意义。具体来说：首先，改进YOLOv3目标检测
网络模型得到2D先验区域，并提出RGB‑D目标显
著性检测算法提取目标像素、通过视锥投影获取
目标视锥点云；其次，为了去除离群点并减少目
标视锥点云的数目，提出了一种多模态特征融合
策略来精简目标视锥点云，该策略可以替代基于
深度神经网络推理3D目标的过程；最后，利用轴
对齐包围盒算法(AABB)生成目标点云的3D边界
框，同时利用PCA算法计算目标点云的位姿坐标。
本发明的有益效果是：RGB‑D多模态特征融合3D
目标检测方法在少量2D标注数据、没有3D标注数
据的应用场景中，能提高对场景多尺度目标的检
测精度，并有着实时性好、精度高的优点。
CN113408584B
CN113408584B权利要求书1/2页

1.RGB‑D多模态特征融合3D目标检测方法，其特征在于，将深度学习技术与3D点云处理
技术相结合，并有效应用于少量2D标注和没有3D标注图像数据集，整体流程包括以下步骤：
步骤1：建立检测目标的数据集，通过网络爬虫收集包括主要检测目标的RGB图像，该部
分数据在训练中将被作为相似领域数据集；利用深度相机拍摄实际包含主要目标的RGB图
像和深度图像，该部分数据在训练中将被作为目标数据集，并将该目标数据集划分为训练
集和测试集；
步骤2：改进YOLOv3目标检测网络的主干网络DarkNet53，得到MD56‑YOLOv3目标检测网
络；
步骤3：利用步骤1中的相似领域数据集，预训练MD56‑YOLOv3目标检测网络；再利用步
骤1中的目标数据集的训练集，迁移学习训练MD56‑YOLOv3目标检测网络；
步骤4：提出RGB‑D目标显著性检测算法来分割由MD56‑YOLOv3目标检测网络输出的2D
矩形框中目标的像素点区域；
步骤5：将RGB‑D目标显著性检测算法分割得到的目标像素点区域映射对齐于目标的深
度图像，并通过视锥投影生成目标视锥点云；
步骤6：提出RGB‑D多模态特征融合策略精简步骤5中得到目标视锥点云，获得精简目标
视锥点云；
步骤7：利用AABB算法和PCA算法生成3D目标的边界框；
步骤8：将步骤1‑7涉及的所有算法整合为RGB‑D多模态特征融合3D目标检测方法，利用
步骤1收集的目标数据集的测试集进行测试；
上述步骤2中的对YOLOv3目标检测网络的主干网络DarkNet53的改进包括如下步骤：
步骤21：将MD56‑YOLOv3目标检测网络的输入目标图像尺寸416*416调整为448*448，以
提取更多的特征信息并提升网络的检测精度；
步骤22：在YOLOv3目标检测网络的3个尺度特征提取分支处分别添加一层卷积核大小
为3*3，步长为1，填充大小为1的特征提取层，分别增大y1、y2、y3输出不同尺度预测目标的
观测范围；
步骤23：在MD56‑YOLOv3目标检测网络输出特征时，对相应的特征维度进行调整，并且
对网络的预测结果进行坐标框解码，通过坐标框解码映射到目标图像坐标真实值