图像处理方法和装置、存储介质和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111797790A(43)申请公布日2020.10.20(21)申请号202010663399.7(22)申请日2020.07.10(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人苏凯王长虎(74)专利代理机构北京英创嘉友知识产权代理事务所(普通合伙)11447代理人王晓霞(51)Int.Cl.G06K9/00(2006.01)权利要求书2页说明书16页附图3页(54)发明名称图像处理方法和装置、存储介质和电子设备(57)摘要本公开涉及一种图像处理方法和装置、存储介质和电子设备，所述方法包括：将待处理图像输入意图判别模型；获取所述意图判别模型输出的表征所述待处理图像中的主意图对象的子图像；其中，所述意图判别模型包括主意图判别分支和位置处理分支，其中，所述位置处理分支用于从图像中提取空间位置掩码，所述主意图判别分支用于从图像中提取图像特征信息，并将所述空间位置掩码作为所述图像特征信息的权重特征，添加至所述图像特征信息中，并基于加权处理后的所述图像特征信息，输出至少包括所述主意图对象的子图像。通过意图判别模型从空间位置和视觉特征对图像的主意图进行判别，减少了采用单一的特征进行主意图判别带来的误判别的情况，从而提高了主意图判别的准确度。CN111797790ACN111797790A权利要求书1/2页1.一种图像处理方法，其特征在于，所述方法包括：将待处理图像输入意图判别模型；获取所述意图判别模型输出的表征所述待处理图像中的主意图对象的子图像；其中，所述意图判别模型包括主意图判别分支和位置处理分支，其中，所述位置处理分支用于从图像中提取空间位置掩码，所述主意图判别分支用于从图像中提取图像特征信息，并将所述空间位置掩码作为所述图像特征信息的权重特征，添加至所述图像特征信息中，并基于加权处理后的所述图像特征信息，输出至少包括所述主意图对象的子图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述将所述空间位置信息作为所述图像特征信息的权重特征，添加至所述图像特征信息中，包括：通过卷积函数和激活函数将所述空间位置掩码转换为空间位置权重，所述空间位置权重的维度比所述空间位置掩码的维度低；将所述空间位置权重与所述图像特征信息相乘，得到加权后的图像特征信息。3.根据权利要求1所述的方法，其特征在于，所述意图判别模型还包括特征提取层，用于从图像中提取共享特征；所述位置处理分支，用于从所述共享特征中提取空间位置掩码；所述主意图判别分支，用于从所述共享特征中提取图像特征信息。4.根据权利要求1所述的图像处理方法，其特征在于，所述位置处理分支是通过以下方式训练的：将已标注样本位置掩码的第一样本图像输入待训练的意图判别模型；重复执行基于所述样本位置掩码和所述意图判别模型的所述位置处理分支输出的预测位置掩码，通过位置损失函数调整所述意图判别模型的位置处理分支的参数的步骤，直至满足训练停止条件；其中，所述样本位置掩码和所述预测位置掩码用于表征所述第一样本图像中至少一个物体的空间位置。5.根据权利要求4所述的方法，其特征在于，所述通过位置损失函数调整所述意图判别模型的位置处理分支的参数，包括：基于所述样本位置掩码和所述预测位置掩码，通过所述位置损失函数，确定所述第一样本图像中各个物体的掩码损失值；根据各个物体的所述掩码损失值的大小，确定预设数量个较大的目标掩码损失值，并基于所述预设数量个较大的目标掩码损失值在所述位置处理分支中进行反向传播，以调整所述意图判别模型的位置处理分支的参数。6.根据权利要求1所述的图像处理方法，其特征在于，所述主意图判别分支是通过以下方式训练的：将已标注主意图对象的第二样本图像输入待训练的意图判别模型，所述第二样本图像中的主意图对象以样本标注框的形式标注；重复执行基于所述第二样本图像中的样本标注框和所述主意图判别分支输出的标注框，通过意图损失函数调整所述主意图判别分支的参数的步骤，直至满足训练停止条件；其中，所述主意图判别分支从所述第二样本图像中提取样本图像特征，并将所述样本2CN111797790A权利要求书2/2页图像的样本空间位置掩码转换为样本权重，并将所述样本权重与所述样本图像特征相乘，得到加权后的样本图像特征，并基于所述样本图像特征输出标注框，所述第二样本图像的样本空间位置掩码由所述位置处理分支得到，或者，所述第二样本图像的样本空间位置掩码标注于所述第二样本图像中。7.根据权利要求6所述的图像处理方法，其特征在于，所述样本图像包括：标注正确主意图对象的正样本图像和标注错误主意图对象的负样本图像；所述将已标注主意图对象的样本图像输入待训练的意图判别模型，包括：基于