发明公布-2022115739896-基于候选标签集的语义分割域适应标签纠正方法及装置.pdf

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN115830324A
(43)申请公布日2023.03.21
(21)申请号202211573989.6
(22)申请日2022.12.08
(71)申请人武汉大学
地址430072湖北省武汉市武昌区珞珈山
(72)发明人肖晶陈文益张真贺莹凯
(74)专利代理机构武汉智权专利代理事务所
(特殊普通合伙)42225
专利代理师罗成
(51)Int.Cl.
G06V10/26(2022.01)
G06V10/764(2022.01)
G06V10/774(2022.01)
G06V10/82(2022.01)
G06N3/0464(2023.01)
G06N3/084(2023.01)
权利要求书4页说明书13页附图3页
(54)发明名称
基于候选标签集的语义分割域适应标签纠
正方法及装置
(57)摘要
本发明提供一种基于候选标签集的语义分
割域适应标签纠正方法及装置。该方法包括：利
用晴天图像集以及晴天图像集中每张晴天图像
对应的标签，采用有监督的语义分割训练策略对
预设模型进行预训练，得到预训练模型；通过预
训练模型对雾天图像集中的雾天图像进行语义
分割，按照可信度从大到小的顺序对语义分割结
果进行排序，以排序在前预设比例的语义分割结
果为可信伪标签，对所述可信伪标签进行扩充，
得到候选标签集；通过候选标签集对扩充后的伪
标签进行实时纠正并对预训练模型进行训练，得
到语义分割模型；基于所述语义分割模型执行语
义分割任务。通过本发明，解决了雾天场景下的
语义分割域适应问题，具有简单、有效、精度高、
易于实现的特点。
CN115830324A
CN115830324A权利要求书1/4页

1.一种基于候选标签集的语义分割域适应标签纠正方法，其特征在于，所述基于候选
标签集的语义分割域适应标签纠正方法包括：
利用晴天图像集以及晴天图像集中每张晴天图像对应的标签，采用有监督的语义分割
训练策略对预设模型进行预训练，得到预训练模型，其中，预设模型包含特征降维投影网络
以及语义分割网络，所述语义分割网络为基于U‑Net的派生网络；
通过预训练模型对雾天图像集中的雾天图像进行语义分割，按照可信度从大到小的顺
序对语义分割结果进行排序，以排序在前预设比例的语义分割结果为可信伪标签，对所述
可信伪标签进行扩充，得到候选标签集；
通过候选标签集对扩充后的伪标签进行实时纠正并对预训练模型进行训练，得到语义
分割模型；
基于所述语义分割模型执行语义分割任务。
2.如权利要求1所述的基于候选标签集的语义分割域适应标签纠正方法，其特征在于，
雾天图像集为且其中，表示第i张雾天图像，为雾天图像集，

ch表示图像颜色通道数，h和w分别表示雾天图像的长度和宽度大小，Nt表示雾天图像集的
大小，R表示实数集，按照可信度从大到小的顺序对语义分割结果进行排序，以排序在前预
设比例的语义分割结果为可信伪标签，对所述可信伪标签进行扩充，得到候选标签集的步
骤包括：
按照语义分割结果的可信度，将雾天图像的语义分割结果划分为三种区域，三类区域
的划分方式如下：

其中，1、2、3分别表示第一类型候选标签区域、第二类型候选标签区域、第三类型候选
标签区域，m(p)表示像素点p属于哪一类型候选标签区域，c表示像素的语义类别为第c类，

Φ为模型参数，表示像素p预测为第c类的概率，spi表示第i个超像素块，
表示像素点p预测结果中置信度最大的分量，λc为预设比例，

表示像素点q预测结果中置信度最大的分量，s.t.pandq∈spi表示像素点p和q都属于spi；
以第1类型候选标签区域的每个像素的预测置信度中排名前1个类别对应的标签为其
候选标签集、以第2类型候选标签区域的每个像素的预测置信度中排名前3个类别对应的标
签为其候选标签集、以第3类型候选标签区域的每个像素的预测置信度中排名前5个类别对
应的标签为其候选标签集。
3.如权利要求2所述的基于候选标签集的语义分割域适应标签纠正方法，其特征在于，
通过候选标签集对扩充后的伪标签进行实时纠正并对预训练模型进行训练，得到语义分割
模型的步骤包括：
步骤3.1，将输入预训练模型中，经过编码器，再分别经过特征降维投影网络得到特征
以及分类网络得到语义分割结果

2
CN115830324A权利要求书2/4页

其中，表示第i张雾天图像经过编码器以及分类网络得到语义分割
结果的过程；

步骤3.2，依据第一公式计算每个类别的原型，每个类别原型表示为Ψ＝{ψ1,…,ψc,…,

ψC}，其中ψc表示第c类别的原型，类别指语义分割对应的预测的类别，原型指类别的平均特
征，第一公式为：

其中，表示第i张雾天图像的第p个像素的特征，表示像素p的软标签中第c类的