组织病理学图像分析的最大挑战之一是创建对不同实验室和成像系统之间的差异具有鲁棒性的模型。

这些变化可能是由载玻片扫描仪、原材料、制造技术和染色协议的不同颜色响应引起的。

不同的设置可以产生具有不同染色强度或其他变化的图像，从而在训练模型的源数据和部署的解决方案需要运行的目标数据之间产生域转移。当域转移太大时，在一种类型的数据上训练的模型将在另一种类型的数据上进行测试时将会失败：通常以不可预测的方式失败。

譬如，选择最佳目标检测模型，但是，模型在部署后将检查的图像来自不同的实验室和各种扫描仪。

从他们的训练数据集到目标数据的域转移，可能比在训练集上获得最先进的结果，面临更大的挑战。

好的建议就是，尽早解决这个域适应挑战。一旦他们学会了如何处理域转移，他们就可以在以后尝试更好的对象检测模型。

那么你如何处理域转移呢？有几种不同的选择：

使用染色标准化技术标准化图像的外观
训练期间的颜色增强以利用染色的变化
域对抗训练以学习域不变特征
在测试时调整模型以处理新的图像分布
在目标域上对模型进行微调

其中一些方法具有相反的目标。例如，颜色增强增加了图像的多样性，而染色归一化试图减少变化。域对抗训练尝试学习域不变的特征，同时调整或微调模型将模型转换为仅适用于目标域。

本文将回顾五种策略中的每一种，然后总结研究揭示哪种方法最有效。

1. 染色归一化

不同的实验室和扫描仪可以为特定污渍生成具有不同颜色配置文件的图像。染色标准化的目标是标准化这些染色的外观。

传统上，使用颜色匹配 [ Reinhard2001 ] 和染色分离 [ Macenko2009 , Khan2014 , Vahadane2016 ] 等方法。但是，这些方法依赖于选择单个参考幻灯片。Ren等人提出，使用具有不同参考幻灯片的集合是一种可能的解决方案 [ Ren2019 ]。

更大的问题是这些技术没有考虑空间特征，这可能导致组织结构没有得到保留。

生成对抗网络 (GAN) 是当今着色标准化的最新技术。给定来自域 A 的图像，生成器将其转换为域 B。鉴别器网络尝试区分域 B 的真实图像和假图像，帮助生成器改进。

如果来自域 A 和 B 的配对和对齐图像可用，则此设置执行良好。然而，它通常需要在两个不同的扫描仪上扫描每张幻灯片——或者甚至可能重新染色和重新扫描每张幻灯片。

但是有一个更简单的方法来获得配对图像：将彩色图像转换为灰度（域 A）并将其与原始彩色图像（域 B）配对。两者完美对齐，可以训练条件 GAN 来重建彩色图像。

这种方法的一个主要优点是，针对一个特定域训练的重新染色模型可能适用于各种不同的实验室和扫描仪，因为输入灰度图像的变化小于颜色的变化。

当配对图像不可用时，另一种方法是 CycleGAN。在这个设置中有两个生成器：一个从域 A 转换到 B，另一个从域 B 到 A。这两个模型的目标是能够重建原始图像：A -> B -> A 或B -> A -> B. CycleGAN 还使用鉴别器来预测每个域的真实图像与生成图像。

使用深度学习的染色归一化方法变得越来越复杂。 StainTools 和 HistomicsTK 都实现了一些颜色匹配和染色分离方法。

这些更简单的方法在某些情况下就足够了，但不是全部。下图展示了不同方法在五个不同数据集上的表现。

2. 色彩增强

通过应用随机仿射变换或添加噪声来增强图像是对抗过度拟合的最常见正则化技术之一。类似地，可以利用染色的变化来增加训练期间呈现给模型的图像外观的多样性。

虽然颜色的剧烈变化对于组织学来说是不现实的，但通过对每个颜色通道的随机加法和乘法变化产生的更微妙的变化已被证明可以提高模型性能。

颜色增强的强度是一个额外的超参数，应该在训练期间进行试验，并在来自不同实验室或扫描仪的测试集上进行验证。

Faryna等人在组织病理学上展示了 RandAugment 技术 。这种方法将增强参数化为选择的随机变换的数量及其大小。

Tellez等人研究了不同增强技术（单独和组合）对有丝分裂检测的影响，并提出了 H&E 特定的变换 [ Tellez2018 ]。他们执行了颜色去卷积（如上面提到的染色分离方法中使用的那样），然后在转换回 RGB 之前在苏木精和伊红空间中应用随机移位。H&E 变换是表现最好的个体增强方法。所有增强方法的组合对于将性能推广到新数据集至关重要。

3. 无监督域对抗训练

域适应的下一个技术是域对抗训练。这种方法利用来自目标域的未标记图像。

域对抗模块被添加到现有模型中。该分类器的目标是预测图像属于源域还是目标域。梯度反转层将此模块连接到现有网络，以便训练优化原始任务并鼓励网络学习域不变特征。

在训练期间，使用来自源域的标记图像和来自目标域的未标记图像。对于标记的源图像，应用了原始网络的损失和域损失。对于未标记的目标图像，仅使用域损失。

该模块可以添加到各种深度学习模型中。对于分类，它通常连接到输出附近的层。对于分割，它通常应用于瓶颈层——尽管它也可以应用于多个层。对于检测，它可以应用于特征金字塔网络。对于像有丝分裂这样需要额外分类器网络的具有挑战性的目标检测器，域对抗网络可能仅适用于第二阶段 。

4. 在测试时调整模型

模型可能会在测试时被修改，而不是在训练期间适应域转移。域转移反映在特征空间分布的变化——协变量偏移。因此，对于使用批归一化层的模型，可能会为新的测试集重新计算均值和标准差。

这些新的统计数据可以在整个测试集上计算，并在运行推理之前在模型中更新。或者可以为每批新数据计算它们。Nado等人发现,后一种方法，称为预测时间批归一化，就足够了[Nado2020]。此外，单批 500 张图像足以显着提高模型精度。

5. 模型微调

最后，可以在具有域转移的测试集上对模型进行微调。如果测试集中有足够多的标记示例可用，则此方法可能会产生最佳结果。然而，它是最耗时且最不可推广的。未来可能需要在其他测试集上再次对模型进行微调。

方法比较

颜色增强和染色归一化广泛用于病理图像应用，特别是对于整个幻灯片 H&E 图像。迄今为止，测试时的对抗训练和模型适应研究较少。

<染色标准化与颜色增强>

Khan等人研究染色归一化和颜色增强单独和一起应用的效果 。当这些方法一起使用时，获得了最好的结果。

Tellez等人为各种不同的组织学分类任务测试了图像增强和归一化策略的不同组合。结果证明最好的配置是随机移动颜色通道并且不应用染色归一化。使用染色归一化的实验仅表现稍差。这验证了图像增强在创建稳健的组织学分类器方面的重要性，并强调了颜色转换的重要性。虽然应用污点标准化并没有真正受到伤害，但这种额外的计算可能没有必要。

<染色归一化与域对抗训练>

Ren等人将域对抗训练与一些染色归一化和颜色增强方法进行了比较，表明域对抗方法在泛化到新图像集方面具有优越性。

<染色归一化 vs 颜色增强 vs 域对抗训练>

Larfarge等人进行了一项类似的研究，其中还包括域对抗训练。他们将域对抗训练与有丝分裂分类和细胞核分割任务的颜色增强和染色归一化进行了比较。

在有丝分裂分类中，他们发现颜色增强对于来自训练模型的同一实验室的测试图像表现最佳。然而，在来自其他实验室的图像上，结合颜色增强的域对抗训练是最好的。

对于细胞核分割，结果有点不同。在相同组织类型的图像上进行测试时，染色标准化是关键。在不同的组织类型上，染色归一化的域对抗训练效果最好。

显然，域对抗训练对两种类型的域转换都有好处！

然而，最好的预处理和增强策略因数据集而异。 Lafarge 推测这是由于训练集中的域可变性数量。

上述方法分析中测试的染色归一化方法只是传统的配色和染色分离技术。许多较新的基于深度学习的方法没有包含在这些基准测试中。

建议

传统的染色归一化技术值得第一次尝试，因为它们更容易实现，而且通常运行速度更快。对于某些域转换，这些甚至可能就足够了，尤其是在与颜色增强或域适应相结合时。使用更简单的方法进行实验还可以深入了解一定量的染色归一化是否会提高模型泛化性能。对于保留组织结构的更强大的染色归一化，请评估上面讨论的方法。

可用数据也可能是选择适当技术的决定因素。染色归一化和颜色增强在训练期间不需要目标域图像，而其他三种方法则需要。模型适配需要未标记的目标数据，而微调需要标记。由于这些原因，通常首先尝试染色归一化和颜色增强，并在需要时包括对抗域适应。这三种方法也是训练单个可泛化模型的最佳方法。如果有大量目标图像可用，则调整模型（使用未标记数据）或微调（使用标记数据）可能最有效。

监控已部署系统的意外域转移也很重要。Stacke2020等人开发了一种量化域转移的方法[Stacke2020]。他们的指标不需要带注释的数据，因此可以作为一个简单的测试，看看新数据是否有可能被现有模型很好地处理。