SeemoRe: 专家挖掘的高效图像超分辨率(ICML2024)

论文题目

See More Details: Efficient Image Super-Resolution by Experts Mining

1、简介

从低分辨率（LR）输入重建高分辨率（HR）图像对图像超分辨率（SR）提出了重大挑战。虽然最近的方法已经证明了为各种目标定制的复杂操作的有效性，但这些不同操作的直接堆叠可能导致大量的计算负担，阻碍了它们的实际应用。为此引入了采用专家挖掘的高效SR模型SeemoRe。方法在战略上结合了不同层次的专家，采用协作的方法。在宏观尺度上，专家解决了等级智慧和空间智慧的信息特征，提供了一个整体的理解。随后，该模型通过利用低级别专家的混合来深入研究级别选择的微妙之处。通过深入研究对精确SR至关重要的不同关键因素的专家，模型在揭示复杂的特征内部细节方面表现出色。这种协作方法让人想起“看到更多”的概念，使模型能够在有效的设置中以最小的计算成本实现最佳性能。

本文的目标是避免专注于特定因素的复杂和不连贯的模块，而是选择针对所有方面的统一学习模块。然而，由于效率要求而产生的额外挑战，使得通过大量参数进行隐式学习不可行，特别是在资源有限的设备背景下。为了实现这种有效的统一，引入了SeemoRe，它利用不同专家的协同作用来最大化特征内部的交织，协作学习LR像素之间的内聚关系。动机源于观察到图像特征往往呈现出不同的模式和结构。试图用一个单一的整体模型捕获和建模所有这些模式可能是具有挑战性的。另一方面，协作专家使网络能够专注于输入空间的不同区域或方面，增强其对各种模式的适应性，并促进LR-HR依赖关系的建模，类似于“See More”。

从技术上讲，网络由堆叠残差组（RGs）组成，通过专家动态选择关键特征，关注两个不同的方面。在宏观层面上，每个RG包含两个连续的专家块：(a)秩调制专家（RME），擅长通过低秩调制处理信息量最大的特征；(b)空间调制专家（SME），擅长有效的空间增强。在微观层面上，设计了一个混合低秩专业知识（MoRE）作为RME的基础组件，在隐式建模全局上下文关系的同时，动态选择不同输入和不同网络深度的最佳和最合适的秩。此外设计了一个空间增强专业知识（SEE），作为内部复杂的自关注的有效替代方案，以显著提高空间方面的本地聚合能力。这种组合有效地调节了特征属性内的相互依赖关系，使模型能够提取高级信息，这是sr的一个关键方面。通过明确地以不同粒度挖掘不同专业知识的专家，网络导航空间和通道特征之间的复杂性，最大化它们的协同贡献，从而准确有效地重建更多细节。如图1所示，网络明显优于最先进的（SOTA）高效模型，如DDistillSR 或SAFMN ，而只利用了一半甚至更少的GMACS。虽然模型是专门为高效SR设计的，但它的可扩展性是显而易见的，因为模型在性能上超过了SOTA轻量级变压器，同时产生更低的计算成本。

主要贡献有三个方面：

?提出了SeemoRe，它匹配基于transformer的方法的多功能性和基于cnn的方法的效率。

?提出秩调制专家（Rank modulation expert， RME），以有效地探讨相关特征投影之间复杂的相互依赖关系。

?提出一种空间调制专家（SME），通过对局部上下文信息进行编码来整合SME提取的互补特征。

2、背景

1）单图像超分辨率（SR）是一项长期存在的低级视觉研究，它追求从降级的低分辨率（LR）图像中重建高分辨率（HR）图像。由于超高清设备和视频流媒体的迅速发展，这项具有挑战性的任务引起了相当大的关注，预见到资源限制，设计一个有效的SR模型来衡量在这些设备或平台上完美可视化的HR图像是非常重要的。在缺乏外部先验的情况下，SR的主要方法涉及探索邻近像素之间的复杂关系以进行重建。最近的SR模型通过以下方法证明了这一点：(a)注意力, (b)特征混合和(c)全局-局部上下文建模，产生了显著的准确性。

2）高效SR技术取得了显著进展，研究人员引入了流线型神经架构、网络压缩、重参数化等训练策略，以满足对效率的需求，ShuffleMixer 集成了大核卷积和特征变换，提高了计算效率和高分辨率重建。SAFMN 通过使用浅金字塔收集非局部特征来提高效率。尽管上述方法在几个效率方面有所改进，但在模型效率和恢复性能之间仍有更好的权衡余地。

3、方法

1）如图2所示，整个管道包含N个残差组（rg）序列和一个上采样层。初始步骤包括应用3×3卷积层从输入的低分辨率（LR）图像中生成浅层特征。随后，部署多个堆叠的rg来细化深度特征，在保持效率的同时简化高分辨率（HR）图像的重建。每个RG由一个秩调制专家（RME）和一个空间调制专家（SME）组成。最后，全局残差连接将浅层特征与深层特征的输出连接起来，以捕获高频细节，并部署上采样层（3×3和pixel-shuffle ）以更快地重建。

SeemoRe通过堆叠残差组（RGs）来细化特征表示。每个RG由一个秩调制专家（RME）和一个空间调制专家（SME）组成。RME利用混合低秩专家（MoRE）来细化全局纹理，而SME利用空间增强专家（SEE）来补充RME的空间线索。

2）秩调制专家（RME），与依赖资源密集型矩阵操作来建模LR-HR依赖关系的大核卷积或自关注不同，本文你选择在低秩中调制最相关的交互以追求效率。提出的Rank调制专家（RME）（见图2）探索了一个类似Transformer的架构，使用Low-Rank Expertise （MoRE）的混合物来有效地建模相关的全局信息特征，并使用GatedFFN来进行精细的上下文特征聚合。

混合低秩专家（MoRE） 如图3所示，从层归一化的输入张量x，使用3×3卷积进行特征投影，然后沿着通道维度进行分割，创建两个不同的视图xa和xb。为了有效地聚合逐像素跨通道上下文，利用递归跨行卷积t次，然后进行细化和上采样步骤，从而构建特征金字塔，流程制定如下：

其中DConvk×k表示核大小为k，步长为s的深度卷积，WC→C表示线性层，p表示上下文特征金字塔。同时，并行深度卷积提取局部空间上下文，然后将提取的特征图输入到低秩专家的混合物中。这种分支并行设计方法是有目的地选择的。一般来说，特征映射的下采样影响SR方法的重建性能。因此对一般特征提取保持相同的分辨率，同时结合额外的路径来有效地捕获全局上下文线索，从而避免任何信息丢失。

为了进一步研究提取的特征之间相互依赖的复杂性以降低复杂性，在建模全局上下文关系时对输入部署了低秩分解。如图3所示，单个低秩专家(E)将空间特征（^xa）和编码的逐像素上下文线索（^xb）作为输入，表示为：

其中线性层表示为WC→Ri，沿着通道维度将编码特征压缩到它们的低秩近似Ri，其中i∈{1，…n}。在低维空间中，通过元素乘法巧妙地调制空间线索与上下文线索之后，另一个线性层将特征扩展回原始维度C，以提取相关的通道空间内容。因此，以有效的方式隐含地混合了关键的空间和通道依赖关系。

然而，手动确定最优低秩(R)可能无法充分利用调制的所有固有信息，导致模型容量未充分利用。因此采用了一种动态方法，使用不同低秩专家的混合，并使用路由网络(G)系统地探索搜索空间，以根据输入和网络深度识别理想的低秩专家，低秩专家混合后的最终输出y为：

式中，G（·）和Ei（·）分别表示学习到的路由函数和第i位专家的输出。路由器函数G（·）固有的稀疏性通过给前k个低级别专家分配更大的权重来优化计算。而在训练时，从不同的专家中学习，在推理时，只使用所选择的top-k专家进行计算，进一步提高了效率。

最优低秩表示路由函数通过仅选择前1位专家扩展了稀疏路由原则。由于工作是该领域的先驱，强调更可解释的top-1设计，如图5b所示，这使我们能够简化模型架构和计算过程，创建高效而强大的图像超分辨率模型。在技术上，训练和推理都利用了基于输入和模型深度的动态专家选择；然而，每层只使用排名前1位的专家，其他专家的贡献权重为零。在推理过程中，不活跃的专家被忽略，使用路由器选择的最优输入依赖专家有效地利用上下文信息。这确保了训练和推理之间的一致性，因为每层只有一个专家保持活跃，从而减少了潜在的差异。

此外，有助于选择低秩专家数量（Ei）和秩维数(R)的设计选择如消融研究的表5a所示。还提供了算法1中提出的MoRE块的伪代码。

3）空间调制专家（SME），低秩专家更专注于通道方面的上下文信息，其有效性将得到空间方面的局部信息的补充。受到前人分类工作的启发，设计了一个空间调制专家（SME）（见图2），包括一个空间增强专家（SEE）块，该块有效地捕获空间智能耦合，然后是一个GatedFFN，用于特征优化。

空间增强专家（SEE） 虽然普通的自注意（SA）机制在所有输入像素之间创建了连接，有效地捕获了相关上下文，但其随图像大小的二次计算复杂性存在局限性，特别是在图像SR等高分辨率场景中。因此空间增强专家知识通过利用带有大核的条纹深度卷积简化了键K和查询Q之间相似性矩阵A的计算。计算局部增强的空间特征如下：

使用大核卷积有助于k × k窗口内像素之间的局部相关性，模拟图像恢复中经常使用的基于窗口的SA层，同时保留了与卷积层相关的效率优势

4、实验

1）与高效SR模型的比较

2）与轻型SR变压器的比较

3）复杂性分析

4）消融实验

5）在Urban100基准的×4 SR挑战性案例中，SeemoRe与最先进的方法进行视觉比较