RepRFN:轻量图像超分辨率的重参数化残差特征网络(CVPR2023W)

论文题目

Reparameterized Residual Feature Network For Lightweight Image

Super-Resolution

1、简介

为了解决在资源有限的设备上部署超分辨率技术的问题，本文探讨了轻量级超分辨率中使用的信息蒸馏机制和残差学习机制在性能和效率上的差异，提出了一种基于重参数化的轻量级超分辨率网络结构RepRFN，该结构可以有效降低GPU内存消耗，提高推理速度。设计了一种多尺度特征融合结构，使网络能够学习和融合各种尺度特征和高频边缘。重新考虑了整个网络框架中存在的冗余，在不影响整体性能的前提下，去掉了一些冗余模块，进一步降低了模型的复杂性。此外引入了基于傅里叶变换的损失函数，将图像的空间域变换到频域，使网络能够监督和学习图像的频率部分。实验结果表明，本文设计的RepRFN在保证一定性能的同时实现了较低的复杂度，有利于Edge设备的部署。

大多数SR网络为了改善图像恢复的细节而牺牲了效率。在一些场景下，实时性能也会影响用户体验。因此，如何高效提取图像边缘、纹理、结构等信息，平衡SR网络性能与复杂度之间的关系，是SR网络能否部署在计算、存储单元等资源有限的设备上的关键研究课题。为此提出了一种新的重参数化残差特征网络，称为RepRFN。设计了一种多分支结构，利用多个不同大小的并行卷积核提取不同感受野的特征，并通过局部残差连接实现特征融合。为了有效地提取边缘信息，在多分支结构中引入了面向边缘卷积块（ECB）中的Sobel分支和Laplace分支。在训练阶段将SR任务视为空间域学习和频率域学习的多任务学习问题。在损失函数中引入傅里叶变换，计算频域损失，指导模型恢复频率信息。实验表明，提出的RepRFN算法在性能和效率上取得了平衡。

贡献可以总结如下：

1.提出了一种基于重参数化的多尺度特征融合结构。特征通过不同感受野的多个并行卷积和面向边缘的卷积模块进行卷积，提取不同模式的特征。利用残差连接对特征进行聚合，提高了特征的表达能力。

2. 对RFDN模型的结构进行了重新考虑，分析了RFDN的冗余性，去掉了用于信道变换的1 × 1卷积。

3. 在损失函数中引入傅里叶变换，使模型能够在监督训练过程中学习图像的频率信息，增强频率细节的恢复能力。

2、背景

1）超分辨率（SR）是计算机视觉图像重建的一个重要分支，也是近年来的研究热点。它被广泛应用于医疗、安防、图像和视频重建，甚至游戏图像增强等领域。近年来，许多基于卷积神经网络（CNN）的SR网络被提出，表明CNN对图像SR的发展起着推动作用。

2）信息蒸馏网络IDN 的关键在于信息提炼模块。每个信息蒸馏模块包含一个增强单元和一个压缩单元，可以有效地提取局部长路径和短路径特征，此外，IDN使用较少的卷积核和群卷积，因此推理速度较快。在IDN的基础上，Information Multi-Distillation Network IMDN构建了一个层叠式的Information Multi-Distillation Block IMDB，由精馏和选择性融合组成，精馏模块逐步提取特征，融合模块根据注意机制确定候选特征的重要性并进行融合。残差特征蒸馏网络RFDN认为IDN和IMDN的关键组成部分都是信息蒸馏机制IDM，它明确地将提取的特征分为两部分，一部分保留，另一部分进一步提取。然而，这种机制的效率仍然不足以将残差连接与IDM集成，因此，他们设计了一个浅残差块SRB作为RFDN的主要模块，使网络实现轻量化，并最大限度地利用残差学习。

3、方法

1）残差特征网络（RFN），整体网络结构如图2所示，由三个主要部分组成：浅层特征提取块（SFB）、深层特征提取块（DFB）和上采样块（UB）。利用SFB提取输入LR图像的浅层特征，DFB对提取的浅层特征进一步进行非线性映射，得到更深层次的特征表达，然后通过残差连接将深层特征与浅层特征融合，得到融合特征。最后，UB对融合的特征进行像素重组以重建SR图像。

SFB由一个3 × 3的卷积层组成，主要负责从输入LR图像中提取浅层特征。DFB由堆叠残差特征块（stacking Residual Feature Block， RFB）组成，逐步提取浅层特征，并利用残差学习将浅层特征与深层特征融合，提高特征的表达能力。UB是亚像素卷积层，由一个3 × 3卷积层和一个PixelShuffle层组成。将融合后的特征重新组合并进行像素映射，得到最终的SR图像。上述过程可表示为：

残差特征块(RFB) 残差特征块的关键在于残差特征学习机制。与信息蒸馏机制不同的是，信息蒸馏机制将输入特征沿通道维度分成两部分。其中一部分被保留，另一部分被输入到下一个信息蒸馏模块进行进一步的特征提取。经过几个蒸馏步骤，沿着通道维度进行拼接，完成特征融合，从而实现蒸馏信息的融合。然而，残差特征学习机制并不是沿着通道维度拆分特征，而是直接将提取的特征输入到下一部分，在每个模块中只对提取的深层特征和浅层特征进行相加和合并，从而缓解了通道拆分和拼接操作带来的GPU内存消耗大、推理时间增加的问题。图3显示了几个信息蒸馏模块。图3a、图3b和图3c分别表示了IDN、IMDN和RFDN中使用的信息蒸馏块（Information Distillation Block， IDB）的结构。本节中使用的RFB（图3d）借鉴了RFDN-IDB的结构。具体而言，不同之处在于输入特征不再通过通道分割操作，而是直接输入到下一个卷积层，信息融合机制被残差融合取代。

该模块的计算过程可表示为：

探讨了信息蒸馏机制和残差学习机制的性能和效率差异。以RFDN作为信息蒸馏机制的代表。注意到rfdb中使用了全局残差连接，并探讨了不同残差连接对性能差异的影响。如图4所示，定义了RFB1、RFB2和RFB3来表示不同的残差连接模式：局部残差连接、全局残差连接和局部组合全局残差连接。注意机制使用与RFDN相同的增强空间注意（ESA）。使用没有任何残差连接的平面模型作为基线模型。每个模块的输出通道数统一为48，并使用上述训练设置重新训练RFDN，记为RFDN*。

如表1所示，基于残差特征学习的网络结构与RFDN相比，虽然在模型参数数量和计算量上略有增加，但在推理时间、激活次数、卷积层数和推理过程中消耗的最大GPU内存上都有所减少。特别是Mem减少了54.5%。结果表明，与信息蒸馏机制相比，残差特征学习机制减少了GPU内存消耗和通道分割和连接操作带来的时间开销。通过比较不同的残差连接，从RFB1、RFB2和RFB3的数据可以看出，在参数数量和计算量大致相同的情况下，使用全局残差连接的RFB2的PSNR略低于使用局部残差连接的RFB1，而仅使用局部残差连接的RFB1与同时使用局部残差连接和全局残差连接的RFB3的性能相同。可见，全局残差连接的贡献小于局部残差连接的贡献。

2）重参数化残差特征网络（RepRFN），尽管RFN具有GPU内存利用率低、推理速度快的优点，但仍然存在许多问题。从模型的特征尺度来看，3 × 3卷积层居多用于特征提取，并且接受野比较简单。其次，模型结构仍然存在冗余。此外在图像特征域高频信息的提取和恢复方面也存在不足。针对上述问题，对模型进行了一系列改进，提出了一种基于Reparameterization的多尺度特征融合轻型SR网络RepRFN]。为解决模型感受野简单的问题，设计了多个并行分支结构，并对不同感受野和模式的特征进行提取和融合，使模型尽可能地从多分支结构中获益。同时，引入了重参数化、解耦训练和推理过程，避免了多分支结构引入带来的参数数量和计算量增加的问题。为了解决模型结构冗余问题，重新考虑并分析了RFN与RFDN的结构差异，去掉RFN中用于通道变换的1 × 1卷积层，并对ESA进行结构改进。

提出的RepRFN网络结构如图2所示。RepRFN与RFN具有相同的结构，不同之处在于RepRFN用Reparameterized Residual Feature Blocks （RepRFBs）代替了RFN中的rbf。Reparameterized Block （RepBlock）是RepRFB的主要组件，由多分支结构构成，如图6所示。通过在reprfb中堆叠repblock，从不同的特征模式中逐步提取浅层特征，并通过残差连接进行融合。然后通过3 × 3卷积层得到深度特征。然后通过局部残差连接融合浅特征和深特征，提高特征的表达能力。上采样模块使用亚像素卷积生成最终的SR图像。上述过程可以类似地表示为式1。

本文提出的RepRFB设计参考了RFDN中RFDB的结构。在RFDB中，中间特征被SRB和每个信息蒸馏模块中的1 × 1卷积层分割三次，如图3c所示。因此，RepRFB的前三层采用了重参数化的多分支结构，本文称之为RepBlock，特征通过执行不同操作的多条路径传播并最终融合，以提高模型的表达性。在RFDB中，由于通道级联操作，在级联操作后需要进行1 × 1卷积的通道变换以输入到注意层。而在RepRFB中，由于局部残差连接的存在，RepBlock和卷积层前后的中间特征的通道大小和数量始终保持不变，因此不需要进行通道变换操作。因此，可以认为RepRFB中的1 × 1卷积是冗余的，将1 × 1卷积去掉，进一步压缩参数。基于一次结构化剪枝算法的剪枝灵敏度分析工具，分析了RFDB中ESA的冗余度，发现卷积组中的三个卷积层的冗余度分别排名第一、第三和第四。因此将每个ESA中卷积组的三层卷积简化为一层。最终的RepRFB结构如图6所示。

3）基于傅里叶变换的损失函数，对于高频信息的提取和恢复问题，除了在多分支结构中引入ECB外，在损失函数中引入傅里叶变换，引导模型学习频域特征，尽可能地恢复高频信息。常用的SR损耗函数有L1损失、L2损失、Charbonnier损失等。这些损失函数可以看作是一种像素损失，通过测量SR图像和高分辨率（HR）图像像素值的差异来指导模型学习。如何有效地还原SR中图像的高频信息一直是业界关注的焦点。在模型训练过程中，频率信息的学习是通过测量SR和HR光谱图之间的像元差来实现的。如式4所示：

4、实验

1）可视化的结果

2）不同尺度因子下不同网络在不同基准测试集上的PSNR/SSIM和复杂度结果

3）模型结构冗余度对比实验

4）不同损失函数在DIV2K验证集上的性能对比实验

5）不同部署方案下RepRFN、IMDN和RFDN的推理时间