PlainUSR:追逐更快的ConvNet以获得高效的超分辨率(ACCV2024)

论文题目

PlainUSR: Chasing Faster ConvNet for Efficient

Super-Resolution

1、简介

在最近的超分辨率（SR）研究中，减少延迟是一个蓬勃发展的趋势。虽然最近的进展利用了各种卷积块、注意力模块和主干来释放卷积神经网络（ConvNet）的全部潜力，但实现实时性能仍然是一个挑战。为此提出了PlainUSR，这是一个包含三个相关修改的新框架，可以加速卷积网络的高效sr。对于卷积块，通过重新参数化技巧将较轻但较慢的MobileNetv3块压缩成较重但较快的vanilla卷积，以平衡内存访问和计算。在注意模块中，通过区域重要性图和门调制输入，引入基于局部重要性的注意，在1阶注意延迟内实现高阶信息交互。对于骨干网，提出了一种简单的U-Net，它执行信道区分分割和连接。在实验阶段，与最先进的面向延迟和面向模型尺寸的方法相比，PlainUSR表现出令人印象深刻的低延迟、高可伸缩性和具有竞争力的性能。特别是，与最近的NGswin相比，PlainUSR-L的速度提高了16.4倍，具有竞争力的性能。

贡献可以总结如下：

1)从三个基本组件（卷积块，注意力模块和主干）重新审视了高效的SR设计，并通过以下改进探索和缓解了延迟瓶颈：

-提出了一个重新参数化的MBConv (RepMBConv)，它无缝地将MBConv集成到普通卷积中，没有任何性能下降，但有2.9倍的加速。

-引入基于局部重要性的关注（LIA），在质量和效率上超越现有的关注机制。

-引入了一种新的骨干网，PlainU-Net，它在推理过程中保持简单，但与现有骨干网相比，它具有增强的表示和优化特性。

2)基于这些修改，提出了一个简单而有效的框架，即PlainUSR，与现有的高效SR模型相比，它的延迟明显降低，可扩展性更大，计算量相对更少。

2、背景

1）图像超分辨率（SR）是一个长期存在的低分辨率视觉任务，旨在从大量的低分辨率退化中恢复适当的高分辨率图像。自深度学习兴起以来，卷积SR网络已经成为主流，并取得了显著的成功。尽管PSNR不断上升，但相应增加的延迟限制了移动设备的实际使用，这迫使研究人员改进更快，更有效的模型。一般来说，流行的工作从三个角度开发更有效的卷积网络：1)卷积块，2)注意力模块和3)主干。本文重新审视这些组件，缓解限制其延迟减少的“瓶颈”。

2）对于卷积块，主要的尝试是采用残差学习来提高表示能力和改进优化。例如，EDSR利用残差块，RFDN利用浅残差块。残差学习虽然有助于提高恢复质量，但会增加计算量和内存使用量。为了解决这一限制，有些工作侧重于卷积分解，以堆叠大量简化卷积作为标准卷积的替代。这种分解的一个值得注意的例子是MobileNet块，它将卷积解耦为深度卷积和点卷积，在不同的任务中显示出卓越的效率。尽管显著减少了参数和计算，但由于更高的内存访问，特别是对于具有大输入图像的任务，延迟反而增加了，在SR任务中，MBConv比普通卷积慢。受重参数化技术的启发，将复杂的训练时间块转换为简单的推理块，等效地将可重参数化的MBConv （RepMBConv）转换为原始卷积，以达到更合理的权衡。与原来的MBConv相比，RepMBConv有更多的mac，但更低的内存访问，实现更低的延迟和更好的提取。

3）对于注意力模块，RCAN首先将信道注意力吸收到剩余块中，并取得了突出的性能。在RCAN成功的基础上，随后的研究进一步探索了超分辨率任务中的注意机制。具体来说，RFANet提出了有效的空间注意力（ESA），它在面向性能和轻量级框架上都发挥了其魔力。然而，这些注意机制只促进与有限的接受区域的1阶信息交互。最近的研究采用二阶相互作用，如非局部注意和自注意，实现更全面的远程建模。然而，由于二次复杂度，这些方法引入了额外的运行时间。为了达到平衡，提出了基于局部重要性的注意（LIA），它用极其简单的算子实现了二阶交互。具体来说，LIA在缩小的特征图上测量局部重要性，并使用一个通道门校准注意图，从而确保了相对较低的延迟。

4）骨干网通常采用三种典型的设计：VGG风格、ResNet风格和IMDN风格，性能提高但吞吐量下降。以ESPCN和QuickSRNet为例的vgg式网络，在扩大模型尺寸时遇到质量下降的情况下，展示了最优部署。对于目前流行的高效SR模型，它们倾向于采用类似EDSR/ imdn的框架来保证性能，但忽略延迟。在努力平衡性能和延迟的过程中，通过提出一个执行通道维度“U”形状处理的PlainU-Net，将U- net设计引入到普通网络中。

3、方法

1）整体架构 结合卷积块改进RepConv、注意力块改进LIA和骨干改进PlainUNet，称为PlainUSR，旨在为高效的超分辨率任务实现更快的运行时间。在RepConv、LIA和PlainU-Net的基础上，构建了一个名为PlainUSR的框架，如图4所示

2）卷积块改进RepConv，MobileNetV3 Block （MBConv）在各种计算机视觉任务中取得了显著的成功。尽管其参数和计算效率较高，但其对深度卷积和点向卷积的更高内存访问导致不可忽略的延迟，从而降低了运行速度。对于I/ o绑定设备和I/ o需求任务，这个缺点会加剧，在受限设备上执行全尺寸图像超分辨率的高效超分辨率任务。如表1所示，尽管MBConv获得的参数和计算量较少，但基于MBConv的模型在DIV2K-valid上的×4 SR任务中花费的时间比普通卷积要多。从重新参数化技术中获得灵感，目标是通过将MBConv重新参数化为普通卷积来解决这些限制。本质上，通过三个步骤将MBConv重新参数化为卷积（RepMBConv），如图1所示。

替换非线性：由于非线性算子（GELU激活和SE模块）是不可重新参数化的，选择用线性算子替换它们或将它们移动到尾部。对于激活函数，将第一个GELU替换为缩放函数，并将第二个GELU移动到尾部。对于SE模块，基于stripe observation，即数据集中不同输入的通道注意力值倾向于一个恒定的向量，将输入相对SE替换为可学习张量相对SE模块。

复杂模块：由于RepMBConv在推理阶段是作为普通卷积部署的，增加训练拓扑的复杂性对提高表示能力是无害的。因此用标准卷积和恒等式代替深度卷积来追求更好的性能。

部署：对复杂结构进行训练，并在推理时将其压缩成卷积进行部署。给定输入特征X， RepMBConv C（·）的训练过程可表示为：

其中⊙和*分别是点乘和卷积。（K1, b1）为展开点卷积的核和偏置权重，[K2， b2]为直接3 × 3卷积和恒等式的重参数化核和偏置；{K3， b3}为压缩点卷积的权值。s， v是可学习的标量和向量，用来代替非线性算子。FSE（·）是计算信道关注的SE模块。通过展开Eq.(1)，可以很容易地得到部署重新参数化的核和偏置：

其中，KRep和bRep为重参数化的权重。I是重参数化的单位算子

3）注意力块改进LIA，更快SR网络的另一个障碍是空间注意力计算。现有的空间注意机制可以根据其相互作用的顺序进行基本分类，例如ESA（1阶：一个元素的乘法）和Self-Attention（2阶：两个矩阵乘法）。然而，它们有不同的缺陷，限制了它们在轻量级SR模型中的使用：1阶注意力的弱性能和2阶注意力的二次复杂度。因此重新审视现有的工作，并定制一个简化的二阶空间注意力来权衡计算和性能。注意机制的核心是根据有用信息的输入相对重要性，自适应地增强有用信息，弱化无用信息。在目前的研究中，重要性图是通过子网或矩阵乘法来测量的。受通过区域softmax获得局部重要性的启发，计算环绕R内像素x的重要性值如下：

式中，I(X)| X为X的局部重要度。R为以X为中心的邻域。w为可学习的权重，用于细化测量的重要度。如图2所示，为了提高效率和适用性，通过叠加softpool和3×3卷积来实例化Eq.(3)。与ESA等一阶注意力类似，利用stride和squeeze卷积来减少计算并扩大接受野，而s型和双线性用于激活和重新缩放。

为了重新校准局部重要性，避免步进卷积和双线性插值带来的伪影，使用gate机制对局部重要性I(X)进行特征精炼。与应用附加网络的现有gate单元不同，为了简单起见，选择输入的第一个通道X[0]映射作为gate，LIA（·）可以总结为：

其中σ（·）和ψ（·）是s型激活和双线性插值。

4）骨干改进PlainUNet，尽管有上述加速，但骨干网决定了总体延迟，普通骨干网（VGG-style）在运行时间和内存方面优于其他骨干网，如ResNet或IMDN。然而普通的vgg式骨干在前传过程中统一处理中间特征，浪费了大量的计算量。受U-Net的启发，引入了PlainU-Net，它可以有效地在空间维度上对特征进行编码和解码。该建筑采用“U”形通道维度上的处理。如图3所示，在整个训练阶段，plainU-Net对信道特征进行拆分和连接，进行分层编码和解码。对于推理，使用通道索引是很简单的。给定每一阶段的输入特征F0 = F，通道号C2≤C1≤C0，这些过程可以表示为：

其中Hi（·）、S（·）、L（·）分别为卷积块函数、分割函数和连接函数。左函数表示训练过程，右函数表示推理部署，采用无残差前向，共享F的存储空间。

4、实验

1)定量比较（RGB上的平均PSNR/SSIM、参数、mac、延迟、内存占用和激活）与最先进的高效图像SR方法（×4）

2）定量比较（YCbCr的Y上的平均PSNR/SSIM，参数，mac，延迟和激活）与最先进的图像SR平衡方法（×4）

3）恢复性能与运行时复杂度之间的权衡曲线

4）定量比较（YCbCr的Y上的平均PSNR/SSIM，参数，mac，延迟和激活）与最先进的图像SR平衡方法（×2）

5）×2的高效SR模型的视觉比较

6）与面向质量的高效SR模型的定量比较（×2）

7）×4的高效SR模型的视觉比较

8）不同参数化之间的定量比较

9）不同注意模块对×4 SR任务的定量比较

10）不同LIA变体对×4 SR任务的定量比较

11）不同主干在×4 SR任务上的定量比较