最近,浙大等团队提出了xLSTM-UNet,通过将U-Mamba中的Mamba换成xLSTM,就可以直接提升2D和3D医学图像分割性能,涨点效果显著!
xLSTM-UNet是一种结合了LSTM和UNet的混合网络模型,这类模型保留了UNet出色的空间特征提取能力,增加了对时序信息的捕捉和处理能力,能显著提高分割的精度和准确性。
因此,它被广泛应用于医学图像分割、遥感图像处理、工业检测等领域,同时也为复杂场景下的图像处理任务提供了新的思路和创新方向。
我这次整理了8篇LSTM结合UNet的最新paper,给苦于创新点的同学作参考,希望各位看完后可以有些启发,更快写出论文中稿。
论文原文+开源代码需要的同学关注“学姐带你玩AI”公众号,那边回复“LSTM分割”获取。
xLSTM-UNet can be an Effective 2D & 3D Medical Image Segmentation Backbone with Vision-LSTM (ViL) better than its Mamba Counterpart
方法:论文提出了xLSTM-UNet,这是首个使用扩展长短期记忆(xLSTM)/ ViL增强的U-Net架构,可用于2D和3D医学图像分割任务。xLSTM-UNet在多个医学图像分割任务中表现出色,特别是在3D脑MRI体积的肿瘤分割上,平均Dice分数达到了91.80%,显著超越了现有的基于CNN和Transformer的方法,以及Mamba-based的对应方法。
创新点:
- 提出了xLSTM-UNet,这是一种利用xLSTM/ViL增强的U-Net结构的深度学习神经网络,用于医学图像分割。xLSTM-UNet结合了卷积层的局部特征提取能力和xLSTM的长程依赖捕获能力,为全面的图像分析提供了强大的解决方案。
- xLSTM-UNet在2D医学图像分割任务中展现出更好的鲁棒性,对异质外观和分割异常的处理能力更强,这一点通过定量结果和可视化示例都得到了验证。
Advanced Fusion of 3D U-Net-LSTM Models for Accurate Brain Tumor Segmentation
方法:论文提出了一种结合了3D U-Net和长短期记忆网络(LSTM)的融合模型,用于提高脑部肿瘤分割的准确性。这种融合模型利用了U-Net在特征提取方面的优势和LSTM处理序列数据时捕捉时间依赖性的能力。
创新点:
- 通过结合U-Net和LSTM网络的优势,提出了一种新的3D模型融合方法,显著提升了脑部肿瘤分割的准确性和可靠性。
- 使用Frost滤波器进行图像去噪和增强,结合LSTM对连续MRI扫描的时间序列进行分析,提高了对肿瘤动态变化的捕捉能力。
- 实现了98.9%的分割准确度,并通过使用多模态MRI图像数据,增强了对肿瘤不同特征的识别能力,同时提供了有用的可视化工具以辅助临床诊断和治疗规划。
Combined U-Net and LSTM approach to detect safeguards-relevant changes in Sentinel-2 images
方法:作者通过将LSTM集成到U-Net模型中,这种结合方法(也称为L-UNet或卢网)能够学习并记忆时间序列数据中的时间相关性,特别适合于分析时间序列数据,从而提高在核设施监测中检测建筑物变化的能力。
创新点:
- 使用U-Net和U-Net LSTM模型对核设施卫星图像进行建筑物检测,以增强核保障和核燃料循环监测过程的能力。
- 提出了结合U-Net和LSTM的深度学习网络,用于高分辨率卫星图像中的保障相关变化检测。通过结合U-Net和LSTM的能力,可以显著提高核保障卫星图像中的变化检测过程的准确性、效率和自动化程度。
A Novel Method Combining U-Net with LSTM for Three-Dimensional Soil Pore Segmentation Based on Computed Tomography Images
方法:论文提出了一种结合了U-Net和LSTM(长短期记忆网络)的新型方法BDULSTM,用于基于计算机断层扫描(CT)图像的三维土壤孔隙分割。BDULSTM模型在三维土壤孔隙分割任务中展现了卓越的性能,尤其在处理七个序列图像时,准确度和F1分数分别达到了98.95%和91.59%,同时保持了较低的模型复杂度和计算资源需求。
创新点:
- BDULSTM利用双向结构来充分利用相邻图像的前向和后向特征,从而提高了模型的性能。
- BDULSTM方法能够处理序列数据,同时保留了U-Net在特征提取上的优势,实现了对土壤CT图像的三维分割,消除了三维卷积的需求。
- BDULSTM方法通过双向结构有效地组合了土壤CT图像序列中的上下文信息,提高了对连续图像之间动态变化的全面理解和利用,从而在复杂情景下实现了更精确的图像分割。
论文原文+开源代码需要的同学关注“学姐带你玩AI”公众号,那边回复“LSTM分割”获取。
本文暂时没有评论,来添加一个吧(●'◡'●)