仅供参考，如有翻译不到位的地方敬请指出。转载请标明出处！
论文地址：https://link.springer.com/chapter/10.1007/978-3-642-40763-5_51
摘要
我们使用含有最大池化层的深度卷积神经网络来检测乳腺组织学图像中的有丝分裂。训练网络以使用以像素为中心的patch作为上下文对图像中的每个像素进行分类。 然后将简单的后处理应用于网络的输出。我们的方法赢得了ICPR 2012有丝分裂检测竞赛，其表现优于其他参赛者。
1、介绍
组织切片中可见的有丝分裂轮廓的数量是癌症筛查和评估的重要指标。通常由组织学家手动的计数，但自动化过程可以减少其时间和成本（从而使其更接近），最小化错误，并提高在不同实验室中获得的结果的可比性。
有丝分裂的检测非常的困难。事实上，在一个细胞核经过各种转变的期间，有丝分裂是一个复杂的过程。此外，不同的图像区域以不同的组织类型为特征，其表现出高度可变的外观。 在用血红素和曙红染色的组织学图像中可以观察到大量不同的结构，特别是许多深蓝色斑点，其中大多数对应于细胞核。 只有它们的一部分处于有丝分裂阶段并且必须被检测到。 在大多数阶段，有丝分裂核看起来非常像非有丝分裂核，或者像其他深蓝色斑点一样，以至于让没有经过大量训练的人类观察者无法区分它们（图1）。 作为一种额外的复杂性，在有丝分裂过程的后期阶段，细胞核可能会分裂成两个深蓝色斑点，被视为一个单一的有丝分裂。
我们的方法概念上非常简单。 我们使用有监督的深度神经网络（DNN）作为强大的像素分类器。 DNN是最大池化层的（MP）卷积神经网络（CNN）。 它直接对从源图像的方形片中采样的原始RGB数据进行操作，以像素本身为中心。 DNN经过训练，可以将斑块与所有其他窗口中心附近的有丝分裂核区分开来。 通过在滑动窗口上应用分类器并使用简单技术对其输出进行后处理来检测看不见的图像中的有丝分裂。 由于DNN对原始像素值进行操作，因此不需要人工输入：相反，DNN会自动从训练数据中学习一组视觉特征。
我们的主要贡献是DNN的一个新的，重要的，实际的应用，DNN最近在图像分类，分割和检测方面取得了显着的成果。 我们的方法在公开可用的数据集上进行测试。 它显着优于所有竞争技术，具有可管理的计算工作：在标准笔记本电脑上处理400万像素图像只需几分钟。 本文的补充材料可在以下网站获得：http://bit.ly/18681Km.
相关工作 几十年来，不同种类的CNN被用于对物体进行分类。 1980年引入【6】并在接下来的二十年逐步改进，它们与MP结合并展现出深远和广阔的全部潜力。 他们擅于从手写字符到复杂杂乱图像（NORB），面部和自然彩色图像的数据集。 基于DNN的模式识别不限于对象分类，也可以用于检测。 最近，DNN被用于分割电子显微镜和自然场景中神经组织的图像。
生物医学图像中的许多检测问题通过像素分类器来解决，并且其特征在于待检测物体的相对明显的外观。 由于结块/接触可能难以分离和计数的物体，可能会出现困难。 有丝分裂检测是不同的。 虽然有丝分裂通常是罕见的并且分离良好，但它们很难区分非有丝分裂核。
2、方法
给定输入RGB图像 I，问题是找到一组D = {d1;d2; ::: ;; dN}检测，每个检测单个有丝分裂的质心坐标。 通过在具有关于每个可见有丝分裂的质心的给定ground truth信息的训练图像上训练检测器来解决该问题。 每个像素被分配两个可能类别中的一个，有丝分裂或无有丝分裂，前者是有丝分裂质心（或接近有丝分裂质心）的像素，后者是所有其他像素。 我们的探测器是基于DNN的像素分类器。 对于任何给定的像素p，DNN使用以p为中心的方形图像窗口中的原始RGB值来预测其类别（图1）。 有丝分裂的窗口包含窗口中心周围的可见有丝分裂。 其他包含偏心或无有丝分裂。
深度神经网络架构 DNN是一个前馈网络，由连续的卷积和最大池层组成，后面是几个全连接层。输入图像的原始像素强度通过这个通用的，分层特征提取器。它产生的特征向量由全连接层分类。通过最小化训练集上的错误分类错误率来优化所有权重。
每个卷积层使用矩形滤波器对其输入映射执行2D卷积。过滤器应用于输入映射的每个可能位置。如果前一层包含多个映射，则相应卷积的激活被累加，然后通过非线性激活函数。
我们的DNN和以前的CNN [11]之间的架构差异之一是最大池化（MP）层而不是子采样层。它们的输出由非重叠方形区域上的最大激活给出。 MP层是固定的，不可训练的层，选择获胜的特征。典型的DNN也比以前的CNN宽得多，具有更多的连接，权重和非线性。
.Fig.1 左上：对应于数据集中表示的50ge 高倍镜视野之一的一个图像（4M像素）。 我们检测到的有丝分裂呈绿色（真阳性）和红色（假阳性）; 青色表示我们的方法未检测到有丝分裂。 右上角：三个区域的详细信息（补充材料中整个数据集的完整大小结果）。 注意有丝分裂核和其他非常相似的非有丝分裂结构的挑战性外观。 底部：我们的检测方法概述。
在几对卷积和MP层之后，一个完全连接的层进一步将输出混合成特征向量。输出层是一个简单的完全连接层，每个类有一个神经元（这个问题有两个），由softmax函数激活，从而确保每个神经元的输出激活可以作为属于该类的特定输入的概率。
训练探测器 使用ground truth数据，我们将每个训练图像的每个像素标记为有丝分裂（当比d像素更接近有丝分裂的质心时）或非有丝分裂（其他地方）。然后，我们构建一个训练集，其中每个实例将从原始图像采样的RGB值的方形窗口映射到中心像素的类。如果窗口部分位于图像边界之外，则通过镜像合成丢失的像素。
有丝分裂检测问题是旋转不变的。**因此，通过应用任意旋转和/或镜像来变换训练集内的窗口来生成附加训练实例。**考虑到训练集中的极少数有丝分裂示例，这一点尤其重要
处理测试图像 为了处理看不见的图像 I，我们将DNN应用于其中心像素在图像边界内的所有窗口。 通过镜像再次合成图像边界之外的像素。 这产生概率图M，其中每个像素被指定接近有丝分裂的质心的概率。 理想情况下，除了以每个有丝分裂为中心的d像素半径磁盘之外，我们期望M在任何地方都为零。 在实践中，M非常嘈杂。 因此，M与d像素半径磁盘内核卷积，产生平滑概率图Mf; 预期的局部最大值Mf位于M的磁盘中心，即每个有丝分裂的质心。
为了获得图像 I 的一组检测DI，我们首先初始化DI;然后迭代以下两步直到Mf中没有像素超过给定阈值t。
- 设pm是Mf中值最大的像素; DI = DI U (pm，Mf(pm))。
- 每个p的Mf§ <- 0：|p-pm|<2d（非最大值抑制）。
这产生了(可能是空的)数据集DI（取决于阈值t），其包含图像 I 中检测到的所有有丝分裂的质心，以及它们各自的分数。
利用多个网络和旋转不变性 因为DNN分类器非常灵活并且具有很多自由度，所以预计它会表现出很大的方差和低偏差。事实上，在相关工作中，观察到具有不同架构的大型网络，即使在相同数据集上进行训练，也倾向于产生显着不同的输出，尤其是对于具有挑战性的图像部分。我们通过平均具有不同体系结构的多个分类器的输出来减少这种差异。此外，我们通过分别处理每个输入图像的旋转和镜像版本并对其结果求平均来利用旋转不变性。
3、材料，实验和结果
数据集和性能测量 我们在公共MITOS数据集上评估我们的方法，这个数据集包括50个图像，对应于用Hematosin＆Eosin染色的5个不同活检载玻片中的50个高倍视野。在MITOS中可以看到总共约300个有丝分裂。每个区域代表512x512平方微米的面积，并使用三种不同的设置获得：两个幻灯片扫描仪和一个多光谱显微镜。在这里，我们考虑通过Aperio XT扫描仪获取图像，这是三者中最广泛和最易于使用的解决方案。它的分辨率为每像素0.2456微米，每个区域产生2084x2084 RGB图像。病理学专家手动注释所有可见的有丝分裂。
我们将50个图像划分成三个子集：T1（26个图像），T2（9个图像）和T3（15个图像）。 T3与2012年ICPR有丝分裂检测大赛的评估图像一致。在比赛结束之前，所有的ground truth被保留。 T3专门用于计算我们的性能指标一次，以确保与其他算法的公平比较。
给定数据集T3的一组检测，根据比赛标准，我们计算真实阳性的数量NTP（即坐标距ground truth质心的距离小于5微米（20像素）的检测），假阳性（NFP）和 假阴性（NFN）。 我们计算以下性能测量：召回率(R = NTP/(NTP + NFN))，准确率(P = NTP/(NTP + NFP))和F1得分(F1 = 2PR /(P + R))。
我们在两个不相交的集合T1（训练）和T2（验证）中随机分割剩余的35个图像，其中有可用的ground truth。 对前者进行训练的检测器在后者上进行评估，以确定产生最大F分数的阈值。
构建探测器 对于T1和T2中的图像，有丝分裂类被分配给所有窗口，其中心像素比d = 10像素更接近ground truth有丝分裂的质心;所有剩余的窗口都被赋予非有丝分裂类。这导致总共约66000个有丝分裂像素和1.51亿个无有丝分裂像素。注意，在所有非有丝分裂像素中，只有一小部分（即那些靠近非有丝分裂核和类似外观的结构）代表有趣的实例。相比之下，图像区域的最大部分被远离任何核的背景像素覆盖，其类别（非有丝分裂）很难确定。如果从图像中统一采样类非无菌性的训练实例，则大部分训练工作将被浪费。
其他方法通过首先检测所有细胞核，然后将每个细胞核分别分类为有丝分裂或非有丝分裂来解决该问题。我们遵循一种不同的，更简单的方法，它不需要任何额外的ground-truth信息，并且依赖于单个训练有素的探测器。特别是，我们构建了我们的训练集，以便很好地代表相对罕见的具有挑战性的无有丝分裂实例，而明显属于无有丝分裂类（在输入图像中占优势）的实例很少出现。这种方法受到增强技术的启发，使我们能够将大部分训练时间用于学习有丝分裂和非有丝分裂核之间的重要差异。我们采用一般方法来构建这样的训练集，而不依赖于特定问题的启发式方法。
- 我们构建了一个小型训练集Sd，其中包括所有66000个有丝分裂实例和相同数量的无有丝分裂实例，均来自1.51亿个非有丝分裂像素。
- 我们使用Sd简要训练一个简单的DNN分类器Cd。 因为Cd是在有限的训练集上训练的，其中具有挑战性的非有丝分裂实例严重不足，所以它很容易将大多数非有丝分裂核错误分类为有丝分裂类。
- 我们将Cd应用于T1和T2中的所有图像。 设D§表示Cd分配给像素p的有丝分裂概率。 对于具有挑战性的非有丝分裂像素，D§将很大。
- 我们构建了由100万个实例组成的实际训练集，其中包括所有有丝分裂像素（6.6％的训练实例)。 通过向每个像素p分配权重D§，从非有丝分裂像素中采样剩余的95.4％。
得到的优化的训练集用于学习两个网络DNN1和DNN2（表1中概述的架构）。因为该问题是旋转不变的，所以在每个训练时期期间，每个补片围绕其中心进行随机旋转并且有50％的镜像机会，以便人为地增加训练集。
每个看不见的图像 I 被处理16次：两个网络中的每一个被应用于输入图像的8个变体中的每一个，即 转动k x 90°，k = 0,1,2,3，有镜像和没有镜像。对于每个变体，生成的映射经历逆变换，以匹配输入图像。得到的16个映射被平均，产生M，从中确定一组检测DI，如第2节所述。
首先通过对来自T1的数据进行网络训练并检测T2图像中的有丝分裂来执行整个过程。然后确定产生最大F1分数（t0 = 0.35）的阈值。通过对来自T1和T2的数据训练两个网络来获得最终检测器，并在T3上进行评估。
培训每个网络需要一天的计算和优化的GPU实现。验证数据达到最低要求不到30个epochs。为了检测单个图像中的有丝分裂，我们的MATLAB实现需要31秒才能在每个输入变化上应用每个网络，这相当于每个图像大约8分钟的总时间。通过平均更少的变化以及最小的性能损失，可以获得明显更快的结果（参见表2）。
table 1. 13层的网络DNN1框架（左边）和11层的网络DNN2框架（右边）。层类型：I-输入层，C-卷积层，MP-最大池化层，FC-全连接层。
table2中报告了T3数据集的性能和比较性能结果。我们的方法产生的F-分数为0.782，显着高于最接近的竞争者获得的F-分数（0.718）。 在图3的Precision-Recall平面中绘制了相同的数据。
检测阈值 t 的选择会影响得到的F分数：图3（右）显示该参数不是特别关键，因为即使与 t’ 结果有显着偏差 在有限的性能损失。
table 2. 与竞争方法相比，我们的方法（DNN）的性能结果。 我们还报告了我们的方法的更快但不太准确的版本的性能，即 DNNf12，其网络DNN1和DNN2的平均结果而不计算输入变化（每个图像1分钟），和DNNf1，其仅根据结果计算 DNN1（每张图像31秒）。
fig.2. T3上的所有143次检测（每行29次），得分大于0.1，按降序排序。 对于每个，我们报告相应的图像补丁，得分，以及它是有丝分裂（真实，亮绿色背景）还是无有丝分裂（假，深红色背景）。 得分0.35的垂直虚线报告在T2上确定的检测阈值t’。
fig.3.左图：与PR平面中的其他方法相比，我们的方法的性能。 右：对阈值选择的敏感性。
4、结论和未来的工作
我们提出了一种有丝分裂检测方法，该方法在乳腺癌组织学图像的第一个公共注释数据集上优于所有竞争对手。
未来的工作将旨在验证我们在更大的数据集上的方法，并将其性能与专家组织学家进行比较，最终目标是逐步将自动有丝分裂检测纳入临床实践。
个人附加
“ground truth”在机器学习方面是一个专有名词，我也不知道怎么翻译才能准确，如有不明白的可以去百度这个单词的意思：
维基百科对Ground Truth在机器学习领域的解释是：
在机器学习中，“ground truth”一词指的是训练集对监督学习技术的分类的准确性。这在统计模型中被用来证明或否定研究假设。“ground truth”这个术语指的是为这个测试收集适当的目标（可证明的）数据的过程）