发明授权-201711293629X-一种基于RGB-D特征匹配的3D点云拼接与融合方法.pdf

(19)中华人民共和国国家知识产权局

(12)发明专利

(10)授权公告号CN108053367B
(45)授权公告日2021.04.20
(21)申请号201711293629.XG06T7/33(2017.01)
(22)申请日2017.12.08G06T7/90(2017.01)
(65)同一申请的已公布的文献号(56)对比文件
申请公布号CN108053367ACN104851094A,2015.08.19
US2007/0174620A1,2007.07.26
(43)申请公布日2018.05.18李健等.多站激光点云数据全自动高精度拼
(73)专利权人北京信息科技大学接方法研究.《武汉大学学报信息科学版》.2014,
地址100192北京市海淀区清河小营东路全文.
12号审查员舒瀚

(72)发明人邱钧刘畅王媛吴丽娜
(74)专利代理机构北京汇智胜知识产权代理事
务所(普通合伙)11346
代理人石辉
(51)Int.Cl.
G06T3/40(2006.01)
G06T5/50(2006.01)权利要求书4页说明书9页附图4页
(54)发明名称
一种基于RGB-D特征匹配的3D点云拼接与融
合方法
(57)摘要
本发明公开了一种基于RGB‑D特征匹配的3D
点云拼接与融合方法，该方法主要包括：将不同
视点的场景表面3D点云数据投影到RGB‑D图像进
行处理，实现三维点云降至二维的降维计算；提
取RGB‑D图像特征点，建立RGB‑D图像的特征描
述，对不同视点RGB‑D图像进行匹配；求解坐标及
深度变换矩阵，对RGB‑D图像进行拼接与融合；将
拼接后的RGB‑D图像转化为3D点云数据。通过采
用本发明提供的方法，可以简化三维点云特征提
取和匹配的计算，提高三维点云拼接和融合的效
率。可应用于3D大视场与3D全景的场景重建。
CN108053367B
CN108053367B权利要求书1/4页

1.一种基于RGB‑D特征匹配的3D点云拼接与融合方法，其特征在于，包括：
步骤100，将不同视点的场景表面3D点云数据投影到RGB‑D图像进行处理，实现三维点
云降至二维的降维计算；
步骤200，提取RGB‑D图像中的特征点，建立RGB‑D图像的特征描述，对不同视点RGB‑D图
像进行匹配；
步骤300，求解坐标及深度变换矩阵，对RGB‑D图像进行拼接与融合；
步骤400，将拼接后的RGB‑D图像转化为3D点云数据；
其中：
步骤300中的“求解坐标及深度变换矩阵，对RGB‑D图像进行拼接”包括：
经特征匹配后的两幅RGB‑D图像，对应特征点可通过求解变换矩阵相互转换，基于投影
变换模型给出变换矩阵，该变换矩阵与特征点对的关系模型为：

其中A′对应图像I′，A对应参照图像I，变换矩阵Tk包含旋转、缩放、平移和变形量，通过

代入特征点对进行求解，A′包含图像I′变换矩阵可简写为其中

T
表示缩放、旋转量，S＝(x0,y0,D0)表示位移量，V＝(v1,v2,v3)表示水平、

垂直和深度方向的变形量；

利用求解出的Tk对图像I′中的像点逐一变换，实现图像的拼接；
步骤300中的“对RGB‑D图像进行融合”包括：
不同RGB‑D图像拼接过程中进行图像融合，对图像数据的RGB值作基于光度差异的变
换，假设两图像光度差异是全局的，变换过程由以下线性模型给出：

等式右端RGB值对应参照图像I，左端对应图像I′；
变换矩阵由两图像的RGB均值比给出，利用双线性插值算法处理图像拼接产生的伪影；
步骤400中的“将拼接后的RGB‑D图像转化为3D点云数据”包括：
对于3D大视场，从场景前不同视点获取点云数据，经RGB‑D特征匹配并拼接融合，通过

坐标变换Xw＝x，Yw＝y，Zw＝d0‑D(x,y)转化为3D点云数据；对于3D全景，从场景周围不同视
点获取的点云数据，经RGB‑D特征匹配并拼接融合，通过坐标变换：

2
CN108053367B权利要求书2/4页

转化为点云坐标系下的3D点云数据(Xw,Yw,Zw)，其中x0为RGB‑D全景图像最左端横坐标

值，xN为最右端横坐标值；RGB‑D图像数据包括图像平面坐标(x,y)、深度D(x,y)和颜色

(RGB)信息，参考面Zw＝d0作为相机平面；
步骤200具体包括：
步骤201，利用透视投影模型和尺度空间理论，检测并提取RGB‑D图像的三维特征点；
步骤201具体包括：
步骤211，利用透视投影模型，给出RGB‑D图像保三维几何结构的降维计算方法，得到场
景在相机坐标系中的参数表示；
步骤212，由扩散方程出发，利用有限差分与尺度空间理论，建立检测RGB‑D图像三维特
征点的RGB‑D尺度空间；
步骤213，在RGB‑D尺度空间上极值检测，获取特征点的位置