2023106876371基于局部纹理估计器网络的监控图像超分辨率重建方法.pdf

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN116630162A
(43)申请公布日2023.08.22
(21)申请号202310687637.1
(22)申请日2023.06.12
(71)申请人江西方兴科技股份有限公司
地址330025江西省南昌市西湖区洪城路
508号
(72)发明人陈广辉刘令君李振宇喻恺
胡志刚肖通新陈昭彰
(74)专利代理机构上海创开专利代理事务所
(普通合伙)31374
专利代理师汪发成
(51)Int.Cl.
G06T3/40(2006.01)
G06N3/0464(2023.01)
G06N3/048(2023.01)
G06N3/08(2023.01)
权利要求书1页说明书4页附图3页
(54)发明名称
基于局部纹理估计器网络的监控图像超分
辨率重建方法
(57)摘要
本发明公开了基于局部纹理估计器网络的
监控图像超分辨率重建方法，涉及图像超分辨重
建技术领域。本发明借鉴了隐式神经函数对图像
特征的处理方式，在编‑解码器架构中引入了一
种局部纹理估计器来解决MLP不擅长提取高频特
征的问题；由增强型残差网络作为编码器，避免
梯度变化不稳定的同时利用跳层连接充分保留
中间层提取的特征；局部纹理估计器由振幅、频
率和相位估计器三部分组成，由一个具有四层卷
积和RELU激活函数的MLP作为解码器，将局部纹
理估计器计算得到的傅里叶系数转换到RGB值得
到超分辨率预测结果；对于低分辨率的交通监控
图像可以进行高效的重建与恢复，有助于保障公
共交通安全，建设文明安全城市，具有较高的现
实意义。
CN116630162A
CN116630162A权利要求书1/1页

1.基于局部纹理估计器网络的监控图像超分辨率重建方法，其特征在于，包括如下步
骤：
S1、向编码器网络中输入低分辨率的交通监控图像，由网络前端卷积层提取浅层特征，
引入残差学习构成残差块，并利用跳层连接保留中间层提取的特征；由于去掉了上采样层，
输出与原始低分辨率图像相同大小的张量z，作为S2步骤中局部纹理估计器的输入；
S2、局部纹理估计器将步骤S1获得的张量z和特征点坐标x形成的局部网格转换到傅里
叶域，分别计算幅度、频率和相位，作为步骤三中解码器MLP的输入；
S3、在参考原始输入图像特征的同时，解码器网络将S1步骤得到的特征张量z和S2步骤
得到的局部幅度、频率和相位向量映射到RGB值得到超分辨率预测结果s；
S4、对输入的低分分辨率图像进行不同放大倍数的上采样操作后，与S3步骤输出的预
测结果s(θ)相加，得到最终的超分辨率结果s；

其中，↑表示上采样操作。
2.根据权利要求1所述的基于局部纹理估计器网络的监控图像超分辨率重建方法，其
特征在于，所述S2步骤具体是：
所述局部纹理估计器还引入了与尺度相关的相位估计器，更好的保留了与纹理特征有
关的高频信息；估计得到的频率向量乘以特征点x的局部网格，与相位向量相加后分别进行
余弦和正弦计算，最后将两个结果的比值与振幅向量进行元素乘法，因此估计器函数可
表示为：

其中，zj为第j个特征张量，δ为与特征点x欧几里得距离最近的四个坐标xj组成的局部

网格(|x‑xj|≤1)；该局部纹理估计器包括三个部分：振幅估计器ha(·)、频率估计器hf

(·)、相位估计器hp(·)；Aj为第j个特征张量的振幅向量，Aj＝ha(zj)；Fj为第j个特征张量

的频率向量，Fj＝hf(zj)；Pj为第j个特征张量的相位向量，Pj＝hp(zj)；⊙表示逐元素乘法。
3.根据权利要求1所述的基于局部纹理估计器网络的监控图像超分辨率重建方法，其

特征在于，所述S3步骤具体是在隐式神经函数中，解码器函数fθ由所有特征点共享，并对其

赋予可训练的权重θ；将解码器函数fθ的映射结果与权重θ相乘后，对所有特征张量z逐个求
和；因此预测结果s(θ)表示为：

s(θ)＝∑j∈Jθfθ(zj，Aj，Fj，Pj)(3)
其中，j∈J表示所有特征点个数的集合。

2
CN116630162A说明书1/4页

基于局部纹理估计器网络的监控图像超分辨率重建方法

技术领域
[0001]本发明属于图像超分辨重建技术领域，特别是涉及基于局部纹理估计器网络的监
控图像超分辨率重建方法。

背景技术
[0002]随着现代智慧城市的加速建设，公共交通的监控拍照对于保证公共安全发挥着关
键的作用。受到天气变化、传感器噪声和采集设备局限性等影响，获取高质量的交通监控图
像存在一定困难。图像超分辨率重建技术旨在从低分辨率图像中恢复高分辨率图像，是改
善交通监控画质的有效手段。
[0003]最近，通过MLP(MultilayerPerceptron)进行参数化的隐式神经函数在计算机视
觉领域展现了出色