发明授权-2016800561427-2D到3D视频帧转换.pdf

(19)中华人民共和国国家知识产权局

(12)发明专利

(10)授权公告号CN108605119B
(45)授权公告日2020.12.01
(21)申请号201680056142.7(72)发明人M·M·赫菲达
KAA卡拉加里
(22)申请日2016.08.03···
M·A·A·M·埃尔克哈利比
(65)同一申请的已公布的文献号W·毛图希克P·蒂迪克
申请公布号CN108605119AA·卡斯帕
(43)申请公布日2018.09.28(74)专利代理机构北京邦信阳专利商标代理有
(30)优先权数据限公司11012
62/200,3112015.08.03US代理人郑世奇
(85)PCT国际申请进入国家阶段日(51)Int.Cl.
2018.03.22H04N13/261(2018.01)
(86)PCT国际申请的申请数据G06T7/50(2017.01)
PCT/GB2016/0523882016.08.03(56)对比文件
(87)PCT国际申请的公布数据US2014210944A1,2014.07.31
WO2017/021731EN2017.02.09US2013106837A1,2013.05.02
US2012113117A1,2012.05.10
(73)专利权人M·M·赫菲达US2015023588A1,2015.01.22
地址卡塔尔多哈CN102999937A,2013.03.27
专利权人K·A·A·卡拉加里
M·A·A·M·埃尔克哈利比审查员谢佳妮
W·毛图希克P·蒂迪克
A·卡斯帕权利要求书2页说明书16页附图12页
(54)发明名称
2D到3D视频帧转换
(57)摘要
一种广泛传播的3D视频和技术的采用由于
缺乏高质量的3D内容而被阻碍。一种有效的处理
此问题的解决方案是使用2D到3D的自动转换。但
是，当前的转换方法虽然是通用的，却产生了带
有伪影的低质量结果，其中伪影对于很多观看者
来说是不可接受的。但是，使用精确深度创建3D
立体视频的数据库非常困难。计算机生成的内容
能够被用于生成用于2D到3D转换的高质量的3D
视频参考数据库。所述方法将深度信息从3D参考
数据库中的帧转移到目标帧，同时保持目标边
界。该方法通过深度梯度计算深度图，并且输出
立体视频。
CN108605119B
CN108605119B权利要求书1/2页

1.一种从视频流中处理2D视频图像用于将2D视频图像转换为3D图像的方法，所述方法
包括：
提供合成3D参考数据库，包括2D图像及用于所述2D图像的相应深度信息；
将输入视频帧提交给所述合成3D参考数据库；
在所述合成3D参考数据库中将所述输入视频帧的至少一部分与2D图像的至少一部分
相匹配；
选择用于所述2D图像的相应深度信息，其中所述深度信息为深度梯度；以及
将选中的深度信息应用于被匹配的输入视频帧部分，以生成2D加深度信息的帧部分。
2.根据权利要求1所述的方法，包括：将所述输入视频帧分为多个部分，其中，所述多个
部分为n×n个像素的区块。
3.根据权利要求1所述的方法，其中，所述方法还包括在所述合成3D参考数据库中将所
述输入视频帧的另一部分与另一2D图像的一部分相匹配，以便将所述输入视频帧的多个部
分与多个2D图像的相应部分相匹配。
4.根据权利要求1所述的方法，其中，所述将选中的深度信息应用于被匹配的输入视频
帧部分包括将所述2D图像的被匹配部分的深度信息应用于所述被匹配的输入视频帧的相
应被匹配部分。
5.根据权利要求4所述的方法，其中，将选中的深度信息应用于被匹配的输入视频帧部
分包括将所述2D图像的被匹配部分的一个或多个相应像素映射到所述输入视频帧的被匹
配部分的相应像素。
6.根据权利要求1至5中任意一项所述的方法，所述方法包括：
使用所述输入视频帧的GIST和颜色信息识别用于与所述输入视频帧相匹配的候选2D
图像。
7.根据权利要求1至5中任意一项所述的方法，所述方法包括：根据

使用泊松重建来重建深度信息，其中G＝(Gx,Gy)为深度梯度，D为深度信息，并且
为G的散度：

8.根据权利要求1至5中任意一项所述的方法，所述方法还包括：
在所述输入视频帧中识别对象；
为识别出的对象确定对象掩膜；以及
使用已确定的对象掩膜和所述被匹配的输入视频帧评估所述深度信息，通过修改对象
边界处的泊松方程来允许对象边界处的深度间断。
9.根据权利要求8所述的方法，所述方法还包括：使用泊松重建评估所述深度信息，形
成如Ax＝b的方程，其中x＝D，并且A存储泊松方程的系数，包括：
通过不允许像素使用对象边界像素作为有效的邻近像素来将它们从对象边界断开，并
且对于与边界像素相邻的每个像素，将A中的相应连接设置为0，并且相应地更新其值

2
CN108605