CN2022112984063一种基于对比学习的零样本图像分类网络及深度学习方法.pdf

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN115641582A
(43)申请公布日2023.01.24
(21)申请号202211298406.3
(22)申请日2022.10.23
(71)申请人西北工业大学
地址710072陕西省西安市友谊西路
(72)发明人张鼎文程德彭春蕾王格荣
韩军伟
(74)专利代理机构西安凯多思知识产权代理事
务所(普通合伙)61290
专利代理师王鲜凯
(51)Int.Cl.
G06V20/70(2022.01)
G06V10/82(2022.01)
G06V10/764(2022.01)
G06V10/74(2022.01)

权利要求书2页说明书8页附图2页
(54)发明名称
一种基于对比学习的零样本图像分类网络
及深度学习方法
(57)摘要
本发明涉及一种基于对比学习的零样本图
像分类网络及深度学习方法，设计的模型包括语
义属性的对比学习嵌入、学生模型和教师模型的
一致性约束以及原型模块三个部分。其中语义属
性的对比学习嵌入部分从实例级监督和类别级
监督两个层上面着手，在正负样本的预测语义属
性上以及正负类别的预测语义属性上进行对比
学习。一致性约束部分引入了MeanTeacher机
制，将采用不同数据增强的图像输入给学生模型
和教师模型，再通过让二者输出结果趋于一致来
对模型增强约束。原型模块在学生模型和教师模
型内部，通过属性原型向量的学习将视觉特征转
换为预测属性得分。
CN115641582A
CN115641582A权利要求书1/2页

1.一种基于对比学习的零样本图像分类网络及深度学习方法，其特征在于步骤如下：
步骤1：将图像x输入残差网络101特征提取网络得到视觉特征f(x)∈RH*W*C，其中H、W和C
分别代表特征的高度、宽度以及通道数；
步骤2：将视觉特征f(x)输入到由上下两个分支特征构成的特征处理网络，所述特征处
理网络的上分支以原型模块构成，下分支以全局平均池化模块构成；
输入视觉特征f(x)经过原型模块输出图像样本预测的类别属性得到正样本的语义
属性预测，以及负样本的语义属性预测；
视觉特征f(x)经过全局平均池化层得到全局特征g(x)，全局特征通过线性层映射到类
属性空间，将映射后的全局特征与数据集包含的所有类属性进行点积计算得到类嵌入，类
嵌入指利用神经网络将高维表示空间，映射到一个低维分布式空间；
其中特征处理网络中以原型模块构成的上分支，输出图像样本预测的类别属性得到
正样本的语义属性预测，以及负样本的语义属性预测；

步骤3：对于每一个属性，进行局部特征fi,j(X)与属性原型pa的内积运算，局部特征fi,j
(X)表示在f(x)空间位置(i，j)的特征，获取到每一个属性的相似度图Ma∈RH*W,通过最大化
第a个属性的相似度图的值，获取到输入图像的第a个属性的属性预测得分；
步骤4：采用分类网络进行分类

以属性预测得分最高的类嵌入作为输入图像的类别

其中g(x)T为g(x)的转置矩阵，为测试类对应的真值类属性向量，为预测类别，V
表示映射矩阵；
当是已知类时，函数I＝1,当是未知类是，I＝0，上述公式演变为：

已知类表示在推理阶段出现得类别。
2.根据权利要求1所述基于对比学习的零样本图像分类网络及深度学习方法，其特征
在于：所述特征处理网络中的上分支以原型模块构成，原型模块以两层全连接层串联而成。
3.根据权利要求1所述基于对比学习的零样本图像分类网络及深度学习方法，其特征
在于：所述下分支以全局平均池化模块构成，全局平均池化模块由通道平均池化构成，通道
平均池化指以该通道的算术平均值表征该通道特征。
4.根据权利要求1所述基于对比学习的零样本图像分类网络及深度学习方法，其特征
在于：所述分类网络由残差网络101特征提取网络和特征处理网络串联而成。
5.根据权利要求1所述基于对比学习的零样本图像分类网络及深度学习方法，其特征
在于：所述原型模块输入卷积神经网络提取到的视觉特征,输出图像样本预测的类别属性。
最大化第a个属性的相似度图的值，获取到第a个属性的属性预测得分。

2
CN115641582A权利要求书2/2页
6.根据权利要求1或5所述基于对比学习的零样本图像分类网络及深度学习方法，其特
征在于：所述原型模块的真值类属性为50个，相似性图采用向量内积方式计算，每类真值类
属性维度为256维。

3
CN115641582A说明书1/8页

一种基于对比学习的零样本图像分类网络及深度学习方法

技术领域
[0001]本发明属于零样本图像分类领域，涉及一种基于对比学习的零样本图像分类网络
及深度学习方法。

背景技术
[0002]零样本学习(Zero‑shotLearning，ZSL)，也称作