2016108062876基于深度学习的交通图像检索方法.pdf

(19)中华人民共和国国家知识产权局

(12)发明专利

(10)授权公告号CN106407352B
(45)授权公告日2019.09.10
(21)申请号201610806287.6(51)Int.Cl.
(22)申请日2016.09.06G06F16/783(2019.01)
G06N3/08(2006.01)
(65)同一申请的已公布的文献号
申请公布号CN106407352A(56)对比文件
CN104915643A,2015.09.16,
(43)申请公布日2017.02.15CN105512289A,2016.04.20,
(73)专利权人广东顺德中山大学卡内基梅隆大US2003/0177151A1,2003.09.18,
学国际联合研究院US6961739B2,2005.11.01,
地址528300广东省佛山市顺德区大良南审查员赵阳
国东路9号研究院

专利权人中山大学
(72)发明人赖剑煌谷扬
(74)专利代理机构广州粤高专利商标代理有限
公司44102
代理人林丽明

权利要求书2页说明书5页附图3页
(54)发明名称
基于深度学习的交通图像检索方法
(57)摘要
本发明在智能交通应用场景下，提出一种基
于深度学习的交通图像检索方法，实现深度哈希
编码进行交通监控视频图像检索。包括：将目标
数据集分为训练集与测试集两部分；通过深度卷
积神经网络得到目标类别、颜色的特征以及图像
哈希编码；类别、颜色特征的分类损失与哈希编
码损失经后向传播优化哈希函数；哈希函数对图
像进行哈希编码，计算查询图像与测试数据集中
图像的哈希编码之间的汉明距离以表征两者相
似程度；根据汉明距离的大小进行相似度得分排
序来检索图像。本方法进行图像检索即保留了图
像中丰富的多级语义信息又利用了各图像中目
标特有的属性信息，通过共享网络结构完成检索
与图像属性分类多任务，利用分类任务辅助检
索。
CN106407352B
CN106407352B权利要求书1/2页

1.一种基于深度学习的交通图像检索方法，其特征在于，包括下述步骤：
步骤1：将已经分离好且具有多属性标签的运动目标视频帧数据集分为训练集和测试
集两部分；
步骤2：把训练集图像输入深度卷积神经网络中，得到目标颜色、类别特征，同时根据哈
希编码函数初始参数计算每张图的哈希编码；
步骤3：对图像之间的类标进行相似度排序；
步骤4：计算目标损失函数，先计算训练集中图像哈希编码之间的汉明距离并进行排
序，与类标的相似度排序比较进行检索分支损失函数的计算；该目标损失函数由颜色及类
别属性分类任务multihinge-loss与哈希函数学习任务的triplet-loss共同组成，经随机
梯度下降法与后向传播改变网络参数以得到深度学习哈希编码函数；
步骤5：对于新的查询图像，利用步骤4学习到的哈希编码函数对图像进行哈希编码，计
算查询图像与测试集中图像的哈希编码之间的汉明距离，采用该汉明距离表征查询图像与
测试集中图像之间的相似程度；
步骤6：根据查询图像与测试集中图像的哈希编码之间的汉明距离得到距离的大小序
列进行相似度得分排序来得到检索图像列表，根据被检索图像路径所属的视频段得到相应
视频的搜索。
2.根据权利要求1所述的方法，其特征在于：所述步骤1中，对交通监控视频数据集做运
动物体分割识别得到分离好的运动目标，并且采用人工标注方式标注每帧图像上的目标类
别与目标颜色，目标视频帧数据集中的图片路径信息包含其所属的视频段标号。
3.根据权利要求1所述的方法，其特征在于：所述步骤2中，深度卷积神经网络为alex—
net网络结构，包含五个卷积层，两个全连接层以及一个哈希编码层；哈希编码函数表达为：

上式中，k表示第k个哈希编码函数，sgn()为符号函数，为第k个哈希编码值的权重，
xi为第i张图像；最终第i张图像的哈希编码函数表述为：
iiii
h(x)＝[h1(x)，h2(x)，...，hk(x)]。
4.根据权利要求1所述方法，其特征在于：所述步骤3中，对图像之间的类标进行相似度
排序，具体是：对于训练集中的图像{X1，X2，X3，...，XN}，每一张图与其他图进行类标的权重
相似度得分排序，N表示训练数据集中的图像数目；采用以下公式：

ijij
其中，score(X，X)代表图像X和X进行类标的带权重相似度得分排序；w1与w2分别代
表类别类标与颜色类标的权重；函数g[…]输入两个集合，返回两个集合相同的个数；
表示属于第i张图像的类别类标、颜色类标的集合；排序最终得到一个第i张图Xi与其
他图比较得到的关于i的综合相似度排序列表。
5.根据权利要求4所述的方法，其特征在于：所述步骤4中，颜色与类别属性分类采用
SVM分类器，目标损失函数hingeloss在SVM分类