使用自我蒸馏的掩蔽图像变换器进行自我监督的三维解剖学分割

视觉转换器能够更有效地对远程上下文进行建模，在包括分割在内的多个计算机视觉和医学图像分析任务中显示出令人印象深刻的准确度提升。然而，这种方法需要大量的标记数据集进行训练，这对于医学图像分析来说很难获得。自监督学习 (SSL) 已证明使用卷积网络在医学图像分割中取得了成功。在这项工作中，我们开发了一种 \underline{s}elf-distillation learning，使用 \underline{m}asked\underline{i} 图像建模方法来执行 SSL for vision\underline{t}transformers (SMIT) 应用于 3D 多器官CT和MRI的分割。我们的贡献是在被称为掩码图像预测的掩码补丁中进行密集的像素级回归，我们将其与掩码补丁令牌蒸馏相结合作为预训练视觉转换器的借口任务。我们展示了我们的方法比其他借口任务更准确，并且需要更少的微调数据集。与以前的医学图像方法（通常使用来自疾病部位的图像集和与目标任务相对应的成像模式）不同，我们使用来自头颈癌、肺癌和肾癌以及 COVID-19 的 3,643 次 CT 扫描（602,708 幅图像）进行预训练并将其应用于 MRI 胰腺癌患者的腹部器官分割以及公开可用的 13 种不同的 CT 腹部器官分割。我们的方法显示出明显的准确性提高（MRI 的平均 DSC 为 0.875，CT 的平均 DSC 为 0.878），同时减少了对常用借口任务微调数据集的要求。对多种当前 SSL 方法进行了广泛的比较。代码将在接受发布后提供。

《Self-supervised 3D anatomy segmentation using self-distilled masked image transformer (SMIT)》

论文地址:http://arxiv.org/abs/2205.10342v1