一种基于语义概念抽取的检索方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115205554A(43)申请公布日2022.10.18(21)申请号202210725320.8(22)申请日2022.06.23(71)申请人厦门大学地址361000福建省厦门市思明区思明南路422号(72)发明人赵万磊洪义耕雷蕴奇(74)专利代理机构厦门市新华专利商标代理有限公司35203专利代理师罗恒兰(51)Int.Cl.G06V10/74(2022.01)G06V10/77(2022.01)G06V10/44(2022.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书2页说明书10页附图3页(54)发明名称一种基于语义概念抽取的检索方法(57)摘要本发明公开了一种基于语义概念抽取的检索方法，其包括：获取查询特征；将查询特征与候选特征数据库中的候选特征进行相似度计算，得到相似度排序结果；将相似度排序结果作为检索结果返回。其中，候选特征由图像数据库中的图像经特征提取后得到：从图像中提取基本语义元素；进行语义概念切割得到语义概念特征；语义概念特征经过L2正则化、PCA白化以及再一轮L2正则化处理，得到候选特征。本发明所提取的语义概念特征粒度可覆盖实例级别与图像级别，使得所提取的特征能够描述全局与局部的图像语义信息，从而能够在一套框架内统一图像检索与实例检索，因此既可用于实例检索任务，也可用于图像检索任务。CN115205554ACN115205554A权利要求书1/2页1.一种基于语义概念抽取的检索方法，其特征在于：所述方法包括：获取查询特征；将查询特征与候选特征数据库中的候选特征进行相似度计算，得到相似度排序结果；将相似度排序结果作为检索结果返回；所述候选特征库中的候选特征由图像数据库中的图像经特征提取后得到；所述特征提取方法如下：从图像中提取基本语义元素；进行语义概念切割：对基本语义元素构建无向图Gimage，无向图Gimage中两个节点之间边的权重定义为：其中，cos(vi,vj)为vi与vj之间的余弦相似度；在无向图中切割出连通分量，每个连通分量包含了相似的基本语义元素；计算每个连通分量内节点的平均特征来聚合基本语义元素的特征，得到语义概念特征；语义概念特征经过L2正则化、PCA白化以及再一轮L2正则化处理，得到候选特征。2.根据权利要求1所述的一种基于语义概念抽取的检索方法，其特征在于：从图像中提取基本语义元素具体如下：将图像输入到卷积神经网络中，得到输出的H×W×C维的特征图X；在通道维度C上对特征图X取平均值后得到H×W维的平均激活图使用N×N的窗口在平均激活图上寻找得到峰值点集合；针对平均激活图上的每个峰值点，通过贡献概率公式由后往前进行逐层的反向传播计算，一直到输入图像，得到每个峰值点与原图像尺度相同的贡献概率图M；在贡献概率图M上以矩形框的形式估计出基本语义元素的空间位置信息。3.根据权利要求2所述的一种基于语义概念抽取的检索方法，其特征在于：所述贡献概率公式如下：其中，P(Ii,j)为输入特征图中某一像素位置Ii,j对输出特征图中某一像素位置Op,q的贡献概率；条件概率P(Ii,j|Op,q)的定义为：其中，为I在空间位置(i,j)上通过前向传播计算的自下而上的激活值，Zp,q为正则化项，用来确保∑p,qP(Ii,j|Op,q)＝1。4.根据权利要求2所述的一种基于语义概念抽取的检索方法，其特征在于：在估计基本语义元素的空间位置之前，对贡献概率图M进行如下处理：对贡献概率图M上的值进行归一化，使其范围处于[0,1]；设置阈值τa过滤对峰值点没有贡献的像素点；2CN115205554A权利要求书2/2页将贡献概率图M上的激活区域估计为椭圆形状，该椭圆的参数由贡献概率图M中大于τa的像素位置建模图像二阶矩得到：5.根据权利要求4所述的一种基于语义概念抽取的检索方法，其特征在于：所述基本语义元素对应的矩形框由椭圆的外接矩形得到，通过每个基本语义元素对应的矩形框在特征图上进行平均池化得到基本语义元素的特征。6.根据权利要求1所述的一种基于语义概念抽取的检索方法，其特征在于：所述无向图Gimage表示为：Gimage＝<Vimage,Eimage>，其中，Vimage为无向图的节点，由基本语义元素特征构成Eimage为边的集合，表示为7.根据权利要求1所述的一种基于语义概念抽取的检索方法，其特征在于：在进行语义概念切割得到语义概念特征后，进行非语义概念去除；具体如下：首先，建立数据集级别无向图Gdataset＝＜Vdataset,Edataset＞，其中Vdataset为数据集级别无向图中的节点，为语义概念特征Edataset为边的集合，表示为Gdataset中的边权重定义为：若两个节点之间的相似度大于阈值τ