爱科研&爱五五的日常20210402

1. Embedded Self-Distillation in Compact Multi-Branch Ensemble Network for Remote Sensing Scene Classification. arXiv, 2021.

摘要：由于不同地理要素不同特征的干扰，遥感图像场景分类任务面临诸多挑战。为了解决这一问题，我们提出了一种多分支集成网络，通过融合最终输出逻辑和中间特征映射中的特征来增强特征表示能力。然而，简单地添加分支会增加模型的复杂性，降低推理效率。在这个问题上，我们嵌入自蒸馏(SD)方法，将知识从集成网络转移到集成网络的主干上。通过SD优化，主支路将具有与集成网络相近的性能。在推理过程中，我们可以砍掉其他分支来简化整个模型。在本文中，我们首先设计了紧凑的多分支集成网络，该网络可以以端到端方式进行训练。然后，在输出logit和特征映射上插入SD方法。与以前的方法相比，我们提出的体系结构(ESD-MBENet)在紧凑的设计下，在分类精度方面表现出色。在三个基准遥感数据集AID、NWPU-RESISC45和UC-Merced有3个经典基线模型，VGG16, ResNet50和DenseNet121。结果表明，我们所提出的ESD-MBENet比以前的最先进的复杂模型(SOTA)具有更好的精度。此外，丰富的可视化分析使我们的方法更有说服力和可解释性。

实验框图：

创新点：

1）We propose an compact yet efficient multi-branch ensemble network embedded with self -distillation method in RS scene classification to overcome the interference of different geographical elements in RS images.

2）We insert self-distillation method in ensemble network to distill knowledge to main-branch, which can further simplify the whole network.

3）Our proposed ensemble networks and main-branch network all achieve better classification results than previous SOTA networks on RS image datasets and natural scene datasets

启发：知识蒸馏属于模型压缩方向，不过不太懂，哈哈；注意力机制倒是在哪个论文都用得很多呀！

2. SpectralNET: Exploring Spatial-Spectral WaveletCNN for Hyperspectral Image Classification. arXiv, 2021.

摘要：利用卷积神经网络(CNN)对高光谱图像(HSI)进行分类在现有文献中得到了广泛的应用。方法从使用支持向量机SVM到2D-CNNs，到3D-CNNs，再到3D-2D-CNNs。除了3D-2D-CNNs和FuSENet，其他方法在HSI分类任务中都没有同时考虑光谱和空间特征，导致性能较差。3D-CNN计算量大，应用不广泛，而2D-CNN没有考虑图像的多分辨率处理，只局限于空间特征。尽管3D-2D-CNN试图模拟光谱和空间特征，但当应用于多个数据集时，它们的性能似乎有限。在本文中，我们建议 SpectralNET是一种小波CNN，它是2D-CNN的变体，用于多分辨率HSI分类。小波CNN利用小波变换的层来显示光谱特征。计算小波变换比计算3D CNN要轻。然后将提取的光谱特征与2D-CNN连接，2D-CNN提取出空间特征，从而形成一个用于分类的空间光谱特征向量。总体而言，该模型能够较好地对多分辨率HSI数据进行高精度分类。使用SpectralNET在基准数据集上进行的实验，即Indian Pines、University of Pavia和萨利纳斯的场景证实了拟议的SpectralNET相对于最先进的方法的优越性。

代码：https://github.com/tanmay-ty/SpectralNET.

实验框图：

这图看着有点乱，哈哈。小波CNN也是一个可研究的方向！

杂（假期快乐！争取不断更！）：