发明授权-2017109832948-用于机器人纸箱卸载的3D-2D视觉系统.pdf

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN107962549B
(45)授权公告日2022.10.18
(21)申请号201710983294.8(74)专利代理机构中国专利代理(香港)有限公
(22)申请日2017.10.20司72001
专利代理师周学斌郑冀之
(65)同一申请的已公布的文献号
申请公布号CN107962549A(51)Int.Cl.
B25J9/00(2006.01)
(43)申请公布日2018.04.27B25J9/16(2006.01)
(30)优先权数据B25J15/00(2006.01)
62/4104352016.10.20USB25J15/06(2006.01)
62/4131222016.10.26USB25J15/08(2006.01)
62/4173682016.11.04USB65G61/00(2006.01)
15/4819692017.04.07USB65G67/08(2006.01)
(73)专利权人因特利格雷特总部有限责任公司审查员马张翼

地址美国俄亥俄州
(72)发明人K.于瓦拉伊S.P.坦卡萨拉
B.E.尼尔森张峰M.R.威克斯

权利要求书3页说明书15页附图13页
(54)发明名称
用于机器人纸箱卸载的3D-2D视觉系统
(57)摘要
机器人纸箱装载器或卸载器结合三维（3D）
和二维（2D）传感器来分别检测在诸如卡车拖车
或装运集装箱之类的运输载体内的纸箱堆的3D
点云和2D图像。使用3D点云，丢弃太小而不能成
为诸如纸箱之类的产品的一部分的分段来执行
边缘检测。太大不能对应于纸箱的分段被2D图像
处理以检测附加边缘。在物料纸箱装载器或卸载
器的已标定3D空间中转换来自3D和2D边缘检测
的结果以执行运输载体的装载或卸载中的一个。
图像处理也可以从机器人纸箱装载器或卸载器
的输送器的单独可控区段检测产品序列的堵塞
以用于单个化卸载。
CN107962549B
CN107962549B权利要求书1/3页

1.一种在物料装卸系统中确定个体纸箱的位置的方法，该方法包括：
接收安置在运输载体的地板上的纸箱堆的至少一部分的二维（2D）图像和三维（3D）点
云；
检测3D点云内的分段；
除去比第一阈值小的任何分段；
确定任何分段是否小于第二阈值；
响应于确定所选分段小于第二阈值，将该所选分段限定为3D检测的纸箱；
响应于确定所选分段不小于第二阈值：
确定对应于该所选分段的2D掩模；
确定对应于该2D掩模的2D图像的一部分；
检测2D图像的该部分内的分段；以及
将所检测到的分段限定为2D检测的纸箱；
将2D和3D检测的纸箱组合在检测结果中；以及
针对装载操作和卸载操作的所选的一个使用标定信息将该检测结果转换成相对于机
器人纸箱装卸系统的3D位置。
2.根据权利要求1所述的方法，进一步包括：
从定位在机器人纸箱装卸系统上的一个或多个传感器接收2D图像和3D点云以检测纸
箱堆的一个部分；
从定位在机器人纸箱装卸系统上的另外的一个或多个传感器接收2D图像和3D点云以
检测纸箱堆的邻接部分；以及
组合来自该一个部分和邻接部分二者的2D和3D检测的纸箱以形成检测结果。
3.根据权利要求1所述的方法，其中将所检测到的分段限定为2D检测的纸箱进一步包
括丢弃形成完全包含在更大矩形内的更小矩形的边缘。
4.根据权利要求1所述的方法，进一步包括：
由机器人纸箱装卸系统使用该3D位置来执行加载操作和卸载操作中的所选的一个。
5.一种用于卸载纸箱堆中的纸箱的机器人纸箱装卸系统，该机器人纸箱装卸系统可跨
地板移动，该机器人纸箱装卸系统包括:
移动主体;
可移动机器人操纵器，其被附接到该移动主体并且包括在其端部处的端部效应器，该
端部效应器被配置成从纸箱堆卸载一个或多个纸箱；
安装在该移动主体上的输送器，其被配置成从端部效应器接收该一个或多个纸箱并且
朝向机器人纸箱装卸系统的后部移动该一个或多个纸箱；
纸箱检测系统，其包括：
一个或多个传感器，其被相应地耦合至移动主体和可移动机器人操纵器中的一个以提
供安置在运输载体的地板上的纸箱堆的至少一部分的二维（2D）光学图像和三维（3D）点云；
与该一个或多个传感器通信的处理子系统，该处理子系统：
检测3D点云内的分段；
除去比第一阈值小的任何分段；
确定任何分段是否小于第二阈值；

2
CN107962549B权利要求书2/3页
响应于确定所选分段小于第二阈值，将该所选分段限定为3D检测的纸箱；
响应于确定所选分段不小于第二阈值：
确定对应于该所选分段的2D掩模；
确定对应于该2D掩模的2D光学图像的一部分；
检测2D光学图像的该部分内的分段；以及
将所检测到的分段限定为2D检测的纸箱；
将2D和3D检测的纸箱组合在检测结果中；以及