计算机系统应用教程网站

网站首页 > 技术文章 正文

U-Net最新变体 性能连超UNet++/UNet v2,计算量降低160倍

btikc 2024-09-05 12:26:47 技术文章 8 ℃ 0 评论

医学图像分割是医学影像分析中的一项关键技术,它能将医学图像中的组织、病变或解剖结构准确地分离和标记出来,为医生提供关键的定量和定性信息,在临床量化、疾病诊断、治疗计划等实际应用中起到了至关重要的作用。

U-Net是医学图像分割中的最重要的架构之一,以其独特的对称U形结构而闻名,当前图像分割的最先进技术通常也都是基于U-Net结构。但随着技术的进步和新模型的出现,UNet正面临着一些挑战,比如数据集的限制、语义差距、计算资源消耗过高等。

为克服这些挑战,提高模型的性能和应用范围,研究者们提出了许多U-Net的改进方案。今年最新的VM-UNet就是代表,性能连超UNet++/UNet v2等SOTA。

除此之外,结合全新双极路由注意力的BRAU-Net++、Mamba加持的Mamba-UNet、参数和计算量降低494和160倍的EGE-UNet等也让UNet算法焕发第二春。为帮助同学们深入了解原理,获取创新点,我整理了10个最新的U-Net改进方案,来源文章以及开源代码也列上了,方便同学们复现。

论文原文以及开源代码需要的同学关注“学姐带你玩AI”公众号,那边回复“UNet”获取。

VM-UNet

Vision Mamba UNet for Medical Image Segmentation

方法:本文首次介绍了一种纯SSM(Selective Sequential Modeling)模型用于医学图像分割的方法,并提出了基于VSS(Variational Selective Sequential)块的VM-UNet作为基准模型。通过在VM-UNet中使用VSS块并使用预训练的VMamba-S初始化权重,充分发挥了SSM模型的能力。

创新点:

  • 首次引入了基于纯SSM的模型用于医学图像分割,提出了VM-UNet作为基准模型。
  • 利用VSS块构建了VM-UNet,并使用预训练的VMamba-S模型初始化其权重,以充分发挥SSM模型的能力。

BRAU-Net++

BRAU-Net++: U-Shaped Hybrid CNN-Transformer Network for Medical Image Segmentation

方法:本文介绍了一种使用双层路径注意力作为核心构建模块的U形混合卷积神经网络(CNN-Transformer)用于医学图像分割的方法。该网络通过使用双层路由注意力作为核心构建模块,设计了编码器-解码器结构,以在降低计算复杂度的同时有效学习局部-全局语义信息。

创新点:

  • SCCSA模块:作者提出了SCCSA模块,用于增强编码器中第i阶段和解码器中第7-i阶段的特征在通道和空间方面的跨维度交互。
  • BRAU-Net++:作者提出了BRAU-Net++,这是一个深度的混合CNN-Transformer模型,用于多模态医学图像分割任务。

Mamba-UNet

Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation

方法:本文介绍了一种基于Visual Mamba块的Mamba-UNet网络,用于医学图像分割。作者提出在U-Net架构中利用Visual Mamba块(VSS)来改进医学图像分析中的长程依赖建模,从而得到Mamba-UNet。

创新点:

  • Mamba-UNet的架构是基于UNet和Swin-UNet的,通过引入Visual Mamba block来改进长距离依赖建模,从而提高医学图像分割的性能。
  • Mamba-UNet采用了纯粹的Visual Mamba(VMamba)编码器-解码器结构,并引入了跳跃连接来保留网络不同尺度之间的空间信息,实现了全面的特征学习过程。

MDD-UNet

MDD-UNet:Domain Adaptation for Medical Image Segmentation with Theoretical Guarantees, a Proof of Concept

方法:本文介绍了一种基于U-Net和Margin Disparity Discrepancy(MDD)的域自适应方法,用于海马分割任务。该方法通过对源域和目标域的分布差异进行测量,实现从源域到目标域的迁移学习。

创新点:

  • 通过得分函数和边缘损失,作者提出了一种与Ben David等人的类似的推广界限的变体。令人惊讶的是,这无缝地转化为一个在理论上有保证的对抗性架构,对分类器的假设空间没有限制,相比最先进的UDA方法取得了相当大的改进。
  • 提出了一种基于U-Net和MDD的领域自适应方法。为进一步研究所提出方法及其重要的MDD差异度量在生物医学领域的应用开辟了道路。
  • 领域自适应是指在只假设源域中存在标签的情况下,将模型从一个类似但有所不同的源域适应到目标域。

EGE-UNet

EGE-UNet: an Efficient Group Enhanced UNet for skin lesion segmentation

方法:提出了一种高效的医学图像分割方法EGE-UNet,以解决Transformer及其变体模型在移动健康应用中参数和计算负载过大的问题。该方法采用了两个轻量级模块:GHPA和GAB。GHPA通过对不同轴上的输入特征进行分组和Hadamard Product Attention机制 (HPA)提取不同视角下的病理信息。GAB通过在每个阶段对低层特征、高层特征和解码器生成的遮罩进行分组,有效地融合多尺度信息。

创新点:

  • 首要创新贡献是提出了两个先进模块:GHPA和GAB。
  • GHPA利用了一种新颖的HPA机制,将自注意力的二次复杂度简化为线性复杂度。它还利用分组来充分捕获不同视角的信息。
  • GAB融合了低级和高级特征,并引入了掩模来整合多尺度信息。

论文原文以及开源代码需要的同学关注“学姐带你玩AI”公众号,那边回复“UNet”获取。

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表