好发论文新方向:KAN+Transformer!准确率达99.86%!

今天给大家推荐一个好发论文的新方向： KAN+Transformer！

一方面，这两者结合，在提高模型的准确性、可解释性方面效果显著，对这两方面要求高的方向，都可以用该方法重做一遍！像是时序预测、图像分类、目标检测等。代表模型SCKansformer，在高维显微图像分类中，便 实现了99.86％的准确率 。主要在于，KAN的灵活性和可解释性，可以弥补Transformer不足；而Transformer的自注意力，也可以帮助KAN更好地处理长距离依赖关系。

另一方面，KAN是当下的新技术，目前还不算卷，出创新点的机会多。

为了让大家对该方法有全面深入的理解，用到自己的任务中，高效涨点，我给大家准备了 7种创新思路 ，原文和源码都有！

1.SCKansformer: Fine-Grained Classification of Bone Marrow Cells via Kansformer Backbone and Hierarchical Attention Mechanisms

方法：

论文提出了一种新的用于骨髓细胞细粒度分类的模型，称为SCKansformer。该模型通过结合Kansformer Encoder、SCConv Encoder和GLAE，有效地提高了骨髓细胞分类的准确性和效率，并通过消融实验验证了模型各个组件的重要性。

创新点：

• Kansformer Encoder：该组件用KAN替代了传统的MLP。KAN通过在网络的边上使用可学习的激活函数，增强了模型处理高维图像数据时的非线性特征表达能力和解释性。

• SCConv Encoder：该组件包含SRU和CRU，用于减少CNN提取的特征中的冗余信息。SRU通过分离-重构策略减少空间冗余，而CRU通过分割-转换-融合策略减少通道冗余。

• GLAE：该组件结合了MSA模块和Local Part模块，以捕获显微图像的全局和局部特征。MSA模块通过自注意力机制学习输入向量之间的交互，而局部部分模块使用深度可分离卷积来提取邻近像素之间的局部特征。

2.A Temporal Kolmogorov-Arnold Transformer for Time Series Forecasting

方法：

论文提出了一种新型的时间序列预测模型，名为TKAT。TKAT模型通过结合TKAN的理论基础和Transformer架构的优势，旨在提高时间序列预测的准确性和可解释性。

创新点：

• 模型架构：TKAT是一种基于注意力机制的编码器-解码器模型，它利用了TKANs作为其核心组件。

• 时间依赖性：TKAN层通过引入时间依赖性来增强模型对时间序列数据的处理能力。每一层的转换函数都是时间依赖的，能够捕捉节点的历史信息。

• 记忆管理：TKAN层通过门控机制来管理信息流，类似于LSTM中的遗忘门和输入门，决定哪些信息应该被保留或遗忘。

3.HyperKAN: Kolmogorov-Arnold Networks make Hyperspectral Image Classificators Smarter

方法：

论文提出了一种基于Kolmogorov-Arnold网络的超光谱图像分类方法。研究者们首先比较了传统的多层感知器和不同神经元数量的KAN网络。随后，他们建议将传统神经网络中的线性层、卷积层和注意力机制层替换为基于KAN的对应层 。

创新点：

• 比较MLP和KAN：首先，作者比较了具有不同隐藏层神经元数量的基线MLP和KAN网络的性能。

• 设计KAN基网络：提出了KAN网络，它与传统的MLP不同，在KAN中，权重参数被一维函数参数化，而不是线性权重，这允许KAN实现更高的准确性和可解释性。

• 修改六种神经网络架构：作者选择了六种用于HSI分类的神经网络架构，并将它们的分类层替换为Linear-KAN块，同时在注意力机制中使用Linear-KAN块，卷积层使用Conv-KAN块。

4.COEFF-KANs: A Paradigm to Address the Electrolyte Field with KANs

方法：

论文提出了一种名为COEFF的新方法，用于自动预测液体电解质的库仑效率，目的是减少化学研究人员的实验验证工作量，并加速高能量密度锂金属电池的设计和优化。

创新点：

• 特征提取：将电解质中的每种溶剂和盐独立输入MoLFormer，提取每个组分的化学特征。然后，根据电解质组分的摩尔比率对这些特征向量进行加权平均，以获得整个电解质的特征表示。

• MLP或KAN：将获得的电解质特征输入到MLP或KAN中，以预测CE。

• 数据和代码公开：论文承诺在论文发表后，将公开使用的数据和代码，以便其他研究人员使用和进一步探索。