CN2023118257235列车360度动态图像监测系统的螺栓松动检测方法及设备.pdf

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN117593290A
(43)申请公布日2024.02.23
(21)申请号202311825723.0G06T7/10(2017.01)
(22)申请日2023.12.26G06T7/187(2017.01)
G06V10/82(2022.01)
(71)申请人合肥科大智能机器人技术有限公司G06V10/774(2022.01)
地址230088安徽省合肥市望江西路5111

号
申请人科大智能科技股份有限公司
南昌科能城轨技术有限公司
(72)发明人江朝庆章海兵汪中原吴道平
(74)专利代理机构兴东知识产权代理有限公司
34148
专利代理师张军
(51)Int.Cl.
G06T7/00(2017.01)
B61L23/00(2006.01)
G06T7/30(2017.01)
权利要求书3页说明书9页附图4页
(54)发明名称
列车360度动态图像监测系统的螺栓松动检
测方法及设备
(57)摘要
本发明的一种列车360度动态图像监测系统
的螺栓松动检测方法及设备，本发明的该方法使
用2D线扫相机和3D线扫相机进行图像采集和处
理，包括目标检测、特征提取、螺栓状态分析、报
警和反馈等步骤。通过使用YOLOv8深度学习模型
训练螺栓目标识别模型，并与配准图像进行比
较，实现对螺栓的准确识别。该方法依赖螺栓上
的防松标记线，并通过形态学方法提取标记线并
判断角度差来初步判定螺栓松动。为了解决相机
拍摄角度带来的误差，根据螺栓位置找到对应的
3D点云图，并基于点云信息判断螺栓是否确实松
动。该方法实现了对列车螺栓松动情况的实时监
测和预警，提高了列车运行安全性和可靠性。
CN117593290A
CN117593290A权利要求书1/3页

1.一种列车360度动态图像监测系统的螺栓松动检测方法，其特征在于，包括以下步
骤，
步骤1：在列车的轨旁安装2D与3D线扫相机，用来拍摄列车360度视野，并提取关键部
件；
步骤2：2D与3D线扫相机按照列车行进速度调整频率连续采集列车运行过程中的图像
序列，以获取整列列车动态图像；
步骤3：对采集到的图像序列进行图像增强、去噪和图像配准处理，提高图像质量和清
晰度；并分别保存处理后的2D图像和3D图像信息，并对3D图像进行ndt以及ICP配准算法进
行配准操作；
步骤4：在处理后的图像序列中，使用深度学习算法对列车部件进行检测，并将检测的
部件按照车厢顺序保存；并根据步骤3处理后的图像进行部件的分割，以获取待检测部件的
图像信息；
步骤5：基于YOLOv8深度学习算法训练螺栓识别模型，识别保存的部件图，训练的轮数

设置为n1次，batch‑size设置为m1，学习率设置为c1，训练结束后用来识别以确定螺栓的位
置和状态信息；
步骤6：对检测到的螺栓，提取防松线并二值化，形态学操作，之后判断两线段角度差，
并根据角度θ判断螺栓是否松动；
步骤7：当连通域为0时，认为该螺栓的防松标记信息丢失，该螺栓初步判定为松动的；
当连通域为2，并且计算发现两个线段角度差大于阈值也初步认定判定为松动的；将初步判
定螺栓松动状态信息的坐标还原到3D点云中，并根据3D点云进行局部部件分割，利用相对
距离和螺栓面相对基准面的高度判断螺栓在此处是否存在异常，根据基准面高度差最终判
断螺栓松动与否，判定结果将作为最终结果输出；
步骤8：当监测系统检测到螺栓松动或异常状态时，及时生成报警信号，并向相关人员
发送警报，以便采取相应的维修和调整措施。
2.根据权利要求1所述的列车360度动态图像监测系统的螺栓松动检测方法，其特征在
于：步骤4中包括基于YOLOv8深度学习算法训练车体部件识别模型，提供测试数据集，训练
的轮数设置为n次，batch‑size设置为m，学习率设置为c，训练结束后会自动保存最优的权
重模型，将该模型用作部件检测的模型。
3.根据权利要求1所述的列车360度动态图像监测系统的螺栓松动检测方法，其特征在
于：步骤5中还包括将待检测部件图像与标准模板进行配准，将检测的螺栓与标准模板的螺
栓进行IoU阈值比较，如果大于阈值则代表识别的螺栓与模板相匹配，那么识别是准确的；
如果小于该阈值，将该位置的螺栓还原到3D点云中，在3D点云中进行螺栓松动的判断。
4.根据权利要求1所述的列车360度动态图像监测系统的螺栓松动检测方法，其特征在
于：步骤6中对检测到的螺栓，提取防松线并二值化，形态学操作，之后判断两线段角度差，
包括，
根据获取的螺栓准确位置，将图像RGB颜色通道转换为色彩表达直观的HSV颜色空间，
通过二值化，形态学提取标记线，将符合阈值部分的像素值设置为255，不符合的区域像素
设置为0；通过该阈值范围，即可将图像二值化