CN2022112984063一种基于对比学习的零样本图像分类网络及深度学习方法.pdf 立即下载
2024-08-17
约1.1万字
约13页
0
1MB
举报 版权申诉
预览加载中,请您耐心等待几秒...

CN2022112984063一种基于对比学习的零样本图像分类网络及深度学习方法.pdf

CN2022112984063一种基于对比学习的零样本图像分类网络及深度学习方法.pdf

预览

免费试读已结束,剩余 8 页请下载文档后查看

10 金币

下载文档

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN115641582A
(43)申请公布日2023.01.24
(21)申请号202211298406.3
(22)申请日2022.10.23
(71)申请人西北工业大学
地址710072陕西省西安市友谊西路
(72)发明人张鼎文程德彭春蕾王格荣
韩军伟
(74)专利代理机构西安凯多思知识产权代理事
务所(普通合伙)61290
专利代理师王鲜凯
(51)Int.Cl.
G06V20/70(2022.01)
G06V10/82(2022.01)
G06V10/764(2022.01)
G06V10/74(2022.01)


权利要求书2页说明书8页附图2页
(54)发明名称
一种基于对比学习的零样本图像分类网络
及深度学习方法
(57)摘要
本发明涉及一种基于对比学习的零样本图
像分类网络及深度学习方法,设计的模型包括语
义属性的对比学习嵌入、学生模型和教师模型的
一致性约束以及原型模块三个部分。其中语义属
性的对比学习嵌入部分从实例级监督和类别级
监督两个层上面着手,在正负样本的预测语义属
性上以及正负类别的预测语义属性上进行对比
学习。一致性约束部分引入了MeanTeacher机
制,将采用不同数据增强的图像输入给学生模型
和教师模型,再通过让二者输出结果趋于一致来
对模型增强约束。原型模块在学生模型和教师模
型内部,通过属性原型向量的学习将视觉特征转
换为预测属性得分。
CN115641582A
CN115641582A权利要求书1/2页

1.一种基于对比学习的零样本图像分类网络及深度学习方法,其特征在于步骤如下:
步骤1:将图像x输入残差网络101特征提取网络得到视觉特征f(x)∈RH*W*C,其中H、W和C
分别代表特征的高度、宽度以及通道数;
步骤2:将视觉特征f(x)输入到由上下两个分支特征构成的特征处理网络,所述特征处
理网络的上分支以原型模块构成,下分支以全局平均池化模块构成;
输入视觉特征f(x)经过原型模块输出图像样本预测的类别属性得到正样本的语义
属性预测,以及负样本的语义属性预测;
视觉特征f(x)经过全局平均池化层得到全局特征g(x),全局特征通过线性层映射到类
属性空间,将映射后的全局特征与数据集包含的所有类属性进行点积计算得到类嵌入,类
嵌入指利用神经网络将高维表示空间,映射到一个低维分布式空间;
其中特征处理网络中以原型模块构成的上分支,输出图像样本预测的类别属性得到
正样本的语义属性预测,以及负样本的语义属性预测;

步骤3:对于每一个属性,进行局部特征fi,j(X)与属性原型pa的内积运算,局部特征fi,j
(X)表示在f(x)空间位置(i,j)的特征,获取到每一个属性的相似度图Ma∈RH*W,通过最大化
第a个属性的相似度图的值,获取到输入图像的第a个属性的属性预测得分;
步骤4:采用分类网络进行分类

以属性预测得分最高的类嵌入作为输入图像的类别


其中g(x)T为g(x)的转置矩阵,为测试类对应的真值类属性向量,为预测类别,V
表示映射矩阵;
当是已知类时,函数I=1,当是未知类是,I=0,上述公式演变为:


已知类表示在推理阶段出现得类别。
2.根据权利要求1所述基于对比学习的零样本图像分类网络及深度学习方法,其特征
在于:所述特征处理网络中的上分支以原型模块构成,原型模块以两层全连接层串联而成。
3.根据权利要求1所述基于对比学习的零样本图像分类网络及深度学习方法,其特征
在于:所述下分支以全局平均池化模块构成,全局平均池化模块由通道平均池化构成,通道
平均池化指以该通道的算术平均值表征该通道特征。
4.根据权利要求1所述基于对比学习的零样本图像分类网络及深度学习方法,其特征
在于:所述分类网络由残差网络101特征提取网络和特征处理网络串联而成。
5.根据权利要求1所述基于对比学习的零样本图像分类网络及深度学习方法,其特征
在于:所述原型模块输入卷积神经网络提取到的视觉特征,输出图像样本预测的类别属性。
最大化第a个属性的相似度图的值,获取到第a个属性的属性预测得分。

2
CN115641582A权利要求书2/2页
6.根据权利要求1或5所述基于对比学习的零样本图像分类网络及深度学习方法,其特
征在于:所述原型模块的真值类属性为50个,相似性图采用向量内积方式计算,每类真值类
属性维度为256维。


3
CN115641582A说明书1/8页

一种基于对比学习的零样本图像分类网络及深度学习方法

技术领域
[0001]本发明属于零样本图像分类领域,涉及一种基于对比学习的零样本图像分类网络
及深度学习方法。

背景技术
[0002]零样本学习(Zero‑shotLearning,ZSL),也称作
查看更多
单篇购买
VIP会员(1亿+VIP文档免费下)

扫码即表示接受《下载须知》

CN2022112984063一种基于对比学习的零样本图像分类网络及深度学习方法

文档大小:1MB

限时特价:扫码查看

• 请登录后再进行扫码购买
• 使用微信/支付宝扫码注册及付费下载,详阅 用户协议 隐私政策
• 如已在其他页面进行付款,请刷新当前页面重试
• 付费购买成功后,此文档可永久免费下载
全场最划算
12个月
199.0
¥360.0
限时特惠
3个月
69.9
¥90.0
新人专享
1个月
19.9
¥30.0
24个月
398.0
¥720.0
6个月会员
139.9
¥180.0

6亿VIP文档任选,共次下载特权。

已优惠

微信/支付宝扫码完成支付,可开具发票

VIP尽享专属权益

VIP文档免费下载

赠送VIP文档免费下载次数

阅读免打扰

去除文档详情页间广告

专属身份标识

尊贵的VIP专属身份标识

高级客服

一对一高级客服服务

多端互通

电脑端/手机端权益通用