深度相机抓拍时的深度重建方法、系统、设备及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113673285A(43)申请公布日2021.11.19(21)申请号202010411183.1(22)申请日2020.05.15(71)申请人深圳市光鉴科技有限公司地址518054广东省深圳市南山区粤海街道高新区社区白石路3609号深圳湾科技生态园二区9栋518B(72)发明人朱力吕方璐汪博(51)Int.Cl.G06K9/00(2006.01)G06T7/50(2017.01)权利要求书2页说明书9页附图6页(54)发明名称深度相机抓拍时的深度重建方法、系统、设备及介质(57)摘要本发明提供了一种深度相机抓拍时的深度重建方法、系统、设备及介质，包括：获取目标人脸的RGB图像、IR图像以及红外光斑图像；对RGB图像、IR图像进行人脸检测，同时对红外光斑图像进行预处理，以提取红外光斑图像中的多个光斑点区域；当在RGB图像、IR图像检测出人脸区域时，对人脸区域进行表情检测，确定该人脸区域的表情类型；当表情类型为预设置的表情类型集合中的任一表情类型时，根据红外光斑图像的多个光斑点区域和RGB图像中的人脸区域对目标人脸进行深度重建生成深度人脸图像。本发明中在人脸检测时对红外光斑图像进行预处理，且仅根据表情优选后RGB图像中的人脸区域对红外光斑图像进行深度重建，提高了深度重建的效率。CN113673285ACN113673285A权利要求书1/2页1.一种深度相机抓拍时的深度重建方法，其特征在于，包括如下步骤：步骤S1：获取目标人脸的RGB图像、IR图像以及红外光斑图像；步骤S2：对所述RGB图像、所述IR图像进行人脸检测，同时对所述红外光斑图像进行预处理，以提取所述红外光斑图像中的多个光斑点区域；步骤S3：当在所述RGB图像、所述IR图像检测出人脸区域时，对所述人脸区域进行表情检测，确定该人脸区域的表情类型；步骤S4：当所述表情类型为预设置的表情类型集合中的任一表情类型时，根据所述红外光斑图像的多个光斑点区域和所述RGB图像中的人脸区域对所述目标人脸进行深度重建生成深度人脸图像。2.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，当对所述目标人脸进行深度重建生成深度人脸图像时，同时进行如下步骤：-对所述RGB图像、所述IR图像进行质量检测；-当所述IR图像符合预设置的质量标准时，对所述IR图像进行活体检测。3.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，所述步骤S1包括如下步骤：步骤S101：通过红外相机交替采集所述目标人脸的IR图像和红外光斑图像；步骤S102：通过RGB相机采集所述目标人脸的RGB图像；步骤S103：获取目标人脸的RGB图像、IR图像以及红外光斑图像，并对所述RGB图像进行实时预览。4.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，所述步骤S3包括如下步骤：步骤S301：当在所述RGB图像、所述IR图像检测出人脸区域时，触发步骤S303；步骤S302：当没有在所述RGB图像、所述IR图像检测出人脸区域时时，并返回步骤S1重新进行所述目标人脸的RGB图像、IR图像以及红外光斑图像的获取；步骤S303：对所述人脸区域进行表情检测，确定该人脸区域的表情类型。5.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，所述步骤S4包括如下步骤：步骤S401：获取预设置的表情类型集合；步骤S402：判断所述表情类型是否为预设置的表情类型集合中的一表情类型，当所述表情类型为预设置的表情类型集合中的一表情类型，触发步骤S403，当所述表情类型不是预设置的表情类型集合中的一表情类型，发出第一提示信息，并返回步骤S1；步骤S403：根据所述红外光斑图像的多个光斑点区域和所述RGB图像对所述目标人脸进行深度重建生成深度人脸图像。6.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，当对所述RGB图像、所述IR图像进行质量检测时，包括如下步骤：步骤M1：获取预设置的图像质量标准；步骤M2：判断所述RGB图像和所述IR图像是否为符合预设置的图像质量标准，当所述RGB图像和所述IR图像符合预设置的图像质量标准，触发步骤M3，当所述RGB图像和所述IR图像不符合预设置的图像质量标准，发出第二提示信息，并返回步骤S1；2CN113673285A权利要求书2/2页步骤M3：根据所述IR图像对目标人脸进行活体检测。7.根据权利要求5所述的深度相机抓拍时的深度重建方法，其特征在于，所述步骤S403包括如下步骤：步骤S4031：将所述RGB图像的人脸区域映射到所述红外光斑图像中，确定所述红外光斑图像中人脸区域的多个光斑点；步骤S4032：提取所述人脸区域的多个光斑点区域；步骤S4033：根据所述人脸区域对