一种实时的人脸交互方法及其系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105718050A(43)申请公布日2016.06.29(21)申请号201610027071.X(22)申请日2016.01.14(71)申请人深圳市商汤科技有限公司地址518000广东省深圳市前海深港合作区前湾一路1号A栋201室(72)发明人左冬冬郭玉京马堃王贵杰徐立(74)专利代理机构北京中济纬天专利代理有限公司11429代理人张晓霞(51)Int.Cl.G06F3/01(2006.01)G06K9/00(2006.01)权利要求书3页说明书8页附图1页(54)发明名称一种实时的人脸交互方法及其系统(57)摘要本公开涉及一种实时的人脸交互方法及其系统，所述方法通过获取电子哈哈镜前的实时视频，并对视频图像中的人脸进行识别，使用级联回归模型提取人脸特征，在进行人脸变形后，在电子哈哈镜上实时呈现当前用户的哈哈镜视觉画面。如果人脸有实时面部动作，就实时变化哈哈镜中的视觉画面。所述系统基于所述方法实现，方便方法的应用。所述方法及系统能够通过脸部动作状态智能控制视频中的输出对象，通过输出对象真实地反映操作者的喜怒哀乐等脸部动作变化。CN105718050ACN105718050A权利要求书1/3页1.一种实时的人脸交互方法，其特征在于，所述方法包括下述步骤：S100、获取电子哈哈镜前的、当前用户的实时视频；S200、基于所述实时视频获取视频帧图像，对所述视频帧图像进行人脸检测识别；S300、在人脸检测识别之后，使用级联回归模型提取人脸特征，并进行人脸变形；S400、在电子哈哈镜上实时呈现当前用户人脸变形后的哈哈镜视觉画面。2.根据权利要求1所述的方法，其特征在于，优选的，所述S300中所述使用级联回归模型提取人脸特征包括下述步骤：S301、通过自动识别方式确定要提取的特征点的数量；S302、获取眼球中心点、眼角、鼻尖、嘴角部位的多个点在内的特征点，并根据这些特征点的位置关系评估人脸角度；S303、根据所述人脸角度选择适合该人脸角度范围的级联回归模型，将检测的图像作为输入，获取人脸特征点。3.根据权利要求1所述的方法，其特征在于，所述S300中所述人脸变形包括下述步骤：S311、确定多个要变形五官的特征点，基于确定的特征点及其影响半径，在各个变形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度值；S312、利用步骤S311中计算得到的每个像素点的新位置和新灰度值更新图像上相关的像素点。4.根据权利要求1所述的方法，其特征在于，所述步骤S400之后，还包括：S500、进行动作检测，用于捕捉当前用户的面部动作，如果捕捉到预设动作，实时将当前用户的哈哈镜视觉画面变化为当前同一用户的另一种不同的哈哈镜视觉画面。5.根据权利要求4所述的方法，其特征在于，所述S500中实时将当前用户的哈哈镜视觉画面变化为当前同一用户的另一种不同的哈哈镜视觉画面，包括下述步骤：S501、基于前次确定的特征点，改变多个特征点的影响半径，在各个变形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度值；S502、利用步骤S501中计算得到的每个像素点的新位置和新灰度值更新图像上相关的像素点。6.根据权利要求4所述的方法，其特征在于，所述动作检测包括下述步骤：S511、基于提取的特征点，利用神经网络来判断面部动作状态，并对人脸图像的连续性进行判断；S512、在连续的若干视频帧图像中寻找所述面部动作状态的值连续增大的图像序列；S513、通过所述图像序列的所述面部动作状态的值的变化来判断面部动作状态的完成情况。7.根据权利要求2所述的方法，其特征在于，所述步骤S300在在人脸检测识别之后，还包括进行跟踪检测；所述跟踪检测，用于判断当前检测到的人脸是否与先前检测到的人脸相同。8.根据权利要求7所述的方法，其特征在于，所述步骤S303在跟踪检测到相同人脸时，利用之前已提取的同一人脸的特征点结合当前人脸角度进行特征点匹配。9.根据权利要求7所述的方法，其特征在于，所述跟踪检测的步骤包括：S3011、计算当前检测到人脸的人脸区域与先前检测到人脸的人脸区域的面积重合度；2CN105718050A权利要求书2/3页S3012、若所述面积重合度大于指定阈值，则认为当前检测到人脸与先前检测到的人脸相同。10.根据权利要求1～9任一所述的方法，其特征在于，所述哈哈镜视觉画面还包括文字。11.一种实时的人脸交互系统，其特征在于，所述系统包括下述模块：M100、视频获取模块：获取电子哈哈镜前的、当前用户的实时视频；M200、人脸检测识别模块：基于所述实时视频获取视频帧图像，对所述视频帧图像进行人脸检测识别；M300、人脸变形模块：在人脸检测识别之后，使用级联回归模