本文首发于微信公众号 CVHub，不得以任何形式转载到其它平台，仅供学习交流，违者必究！
Title: Shape-Aware Fine-Grained Classification of Erythroid Cells
Author: Ye Wang et al. (吉林大学)
Paper: https://arxiv.org/pdf/2212.13695.pdf
Github: https://github.com/wangye8899/BMEC
引言
骨髓红细胞的精细分类和计数对于评估健康状况和制定白血病或血液病的治疗方案至关重要。 由于不同类型的红细胞之间存在细微的视觉差异，因此将现有的基于图像的深度学习模型应用于细粒度的红细胞分类具有挑战性。 此外，目前还没有大型的红细胞开源数据集来支持模型训练。
在本文中，作者介绍了 BMEC（Bone Morrow Erythroid Cells），这是第一个大型细粒度红细胞图像数据集，以促进对红细胞的更多深度学习研究。 BMEC 包含 5,666 张单个红细胞的图像，每张图像都是从骨髓红细胞涂片中提取的，并专业注释为四种类型的红细胞中的一种。 区分红系细胞的一个关键指标是细胞形态，它与细胞的生长成熟密切相关。 因此，本文设计了一种用于细粒度红细胞分类的新型形状感知图像分类网络。 从形状掩码图像中提取形状特征，并使用形状注意模块将其聚合到原始图像特征。
与基线方法相比，借助形状关注图像特征，本文所提方法在 BMEC 数据集上实现了出色的分类性能（81.12% top-1 准确率）。 消融研究还证明了结合形状信息进行细粒度细胞分类的有效性。为了进一步验证所提方法的普遍性，作者在另外两个公共白细胞 (WBC) 数据集上测试了该网络，结果表明形状感知方法的有效性。
背景
红细胞或红细胞是体内最重要的细胞之一。根据它们的生长和成熟，有四种类型的红细胞，如下图所示。在健康的身体里，它们保持着相对平衡的状态。然而，在贫血等许多血液疾病中，这些红细胞的数量会发生变化并变得不平衡。因此，对不同类型的红细胞进行精细分类和计数，对于相关疾病的诊断和预防具有重要意义。
下面简单介绍下主流的几个细胞数据集。
白血细胞数据集
LISC 是一个早期的 WBC 数据集，其中包括从健康受试者的外周血中获取的血液学图像。通过 Gismo-right 技术对涂片进行染色，并使用 Sony 型号 SSCDC50AP 相机在 100X 放大倍数下捕捉 Axioskope 40 显微镜的观察结果。然后，一位血液专家提取并标记了 250 张 WBC 图像，分为五个细粒度类别。同样，BCCD 数据集包含 349 张 WBC 图像，这些图像取自外周血并由一位专家注释。涂片也用 Gismo-right 技术染色，并使用 CCD 彩色相机捕获 100X 的常规光学显微镜的观察结果。从涂片图像中提取的每个 WBC 图像都由一位专家注释为五个类别之一。Raabin-WBC 是最近从正常外周血样本中提取的白细胞图像的大型公共数据集。外周血涂片采用 Giemsa 技术染色，并使用三星 Galaxy S5 相机拍摄图像，以捕捉奥林巴斯 CX18 显微镜在 100 倍放大倍数下的观察结果。总共有 17,965 张白细胞图像从涂片图像中裁剪出来，并由两位血液专家标记为五类。与白细胞相比，不同类型的红细胞看起来更相似，类型之间的形状差异很小。因此，细粒度的红细胞分类更具挑战性，例如，在 Raabin-WBC 上可以实现超过 99% 的准确度，而在本文提出的 BMEC 上只能获得大约 80% 的准确度。由于难以区分红细胞类型，因此文研究请三位血液学家以更严格的方式共同标记 BMEC 图像。
红细胞数据集
与 WBC 数据集相比，只有少数包含红细胞的开源数据集，而与 BMEC 相比，数据质量、数量和多样性都有限。如下列表格所示，CBC 是一个混合数据集，包含三种类型的血细胞：红细胞、白细胞和血小板。 CBC 中的图像是使用尼康 V1 相机拍摄的，以捕捉 ECLIPSE 50i 显微镜在 100 倍放大倍数下的观察结果，然后由两位专家进行注释。它更侧重于研究三种血细胞之间的差异，而不是将红细胞分类为细粒度的类型。 此外，CBC 只有 360 幅图像，难以训练深度神经网络。 红细胞分类最相关的一个数据集是红细胞 IDB，它包含从 196 个全场外周血图像中提取的 629 个单个红细胞图像。 Kodak EasyShare V803 相机用于捕捉 Leika 显微镜在 100X 放大倍率下的观察结果。一位专家根据细胞形状将红细胞 IDB 图像注释为三类：圆形、细长形和其他形状。与BMEC相比，erythrocytesIDB 中红细胞的形状差异更为显着，因为它们侧重于研究某些血液疾病引起的细胞变形。因此，在 erythrocytesIDB 上更容易实现高精度。 相比之下，BMEC 提供了更多的具有微小形状差异的图像，因此它可用于训练更通用的深度学习模型以进行细粒度的红细胞分类。
下面展示下 BMEC 数据集的一些特征统计分布情况：
根据生长和成熟期，红系细胞被注释为四种类型：原红细胞 (Pro)、嗜碱性红细胞 (Bas)、多染红细胞 (Pol) 和正色红细胞 (Ort)。请注意，此处关注具有正常形状的红细胞，而不考虑具有细长形状的异常红细胞，例如红细胞 IDB。作为参考，上述表格显示了四种红系细胞的特征（例如，百分比、大小和形状）。
方法
为了将红细胞分类为细粒度类别，本文提出了一种新颖的形状感知图像分类模型，该模型将形状信息显式编码到网络中。具体来说，首先从输入的红细胞图像中提取细胞形状掩模图像。然后，使用现有的骨干图像特征提取模型提取形状掩模特征和输入图像特征。进一步采用形状注意模块来计算形状注意图像特征，该图像特征被聚合到形状特征和原始图像特征以形成用于最终分类的融合特征。
具体地，该 Pipeline 由四个模块组成：细胞形状提取模块、双分支网络、形状注意模块和细胞分类网络。其中，形状提取模块将 RGB 红细胞图像转换为二值形状掩码。RGB 图像和形状掩码分别传递给双分支网络以生成原始特征和形状特征。形状注意模块计算形状注意权重并从原始图像特征生成形状注意图像特征。然后，原始图像特征、形状关注图像特征和形状特征被聚合成融合的形状感知特征，传递给轻量级分类网络进行预测。
细胞形状提取模块
形状信息对于区分不同细粒度类型的红系细胞至关重要，尤其是当细胞的外观相似时。因此，本文将细胞形状信息显式提取为二元形状掩码，并将其视为分类模型的先验知识（或归纳偏差）。细胞形状提取的主要步骤如算法1所示，下图显示了不同类型红系细胞的图像分割结果。
与利用核和 ROC（凸包 - 核）图像作为形状图像的不同，本文选择凸包图像作为形状图像。 主要原因是其他方法主要关注细胞核形状明显不同的 WBC。然而，对于红细胞来说，与白细胞相比，它们的细胞核更完整并且看起来非常相似。 此外，红系细胞的细胞质图像有噪声，不适合表示细胞形状。相比之下，凸包包含关键形状特征，与核相比，它对噪声的鲁棒性更强。因此，本文将凸包的二值图像传递给网络，并计算形状注意力以增强原始图像特征。
双分支网络
为了明确地将形状信息集成到深度学习框架中，本方法设计了一个双分支网络，它在两个独立的分支中对 RGB 图像和二分类形状掩码（凸包图像）进行编码。
如图所示，顶部分支网络将 RGB 图像作为输入，并使用 Swin-Transformer 提取原始特征。 虽然 RGB 图像分支可以学习不同细胞之间的像素强度变化，但它并不关注细胞的形状或结构特征。因此，作者额外引入了一个单独的底部分支网络，它采用 VGG19 模型从细胞形状提取模块获得的二值形状掩模图像中显式计算形状特征。 来自两个分支的原始图像特征和形状特征集成在形状注意模块中，并在后期融合。此外，该双分支网络是一种通用设计，每个分支中的主干模型都可以被其他深度图像特征提取模型所取代。
形状注意力
为了进一步将形状信息集成到提取的图像特征中，作者提出了一种新颖的形状关注模块，它将原始图像特征和形状特征作为输入并输出形状关注图像特征。首先，形状注意力权重是根据 SENet 中使用的类似注意力机制从二分类形状掩模图像计算出来的。然后，原始图像特征乘以形状注意力权重得到形状关注特征。
总的来说，形状注意模块是一个轻量级网络，可以有效地计算形状特征之间的相关性，并利用自学习的细胞形状信息增强原始图像特征。此外，形状注意模块可以与任何主干模型相结合，将形状信息集成到图像特征中。
细胞分类网络
细胞分类网络由两组完全连接的 ReLu 和 Dropout 层组成。 将原始图像特征 FR、形状特征 FS 和形状关注图像特征 FSA 连接起来形成融合细胞特征 FC = {FR, FSA, FS} 用于最终分类。 通过明确考虑形状特征和形状注意力，与仅使用 RGB 特征进行细粒度红细胞分类相比，形状感知网络可以获得更优的性能。
实验
总结
本文介绍了 BMEC，这是第一个也是最大的专业注释图像数据集，用于对红细胞进行细粒度分类。为此，作者提出了一种新颖的形状感知网络，它明确利用形状信息来提高双分支深度学习框架中的分类精度。最后，通过对不同的主干进行了广泛的评估，并对 BMEC 和其他两个 WBC 数据集进行了实验。 结果显示了形状感知双分支网络的优越性和普遍性，此外，消融研究也验证了形状信息对细粒度细胞分类的有效性。
写在最后
如果您也对人工智能和计算机视觉全栈领域感兴趣，强烈推荐您关注有料、有趣、有爱的公众号『CVHub』，每日为大家带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决方案！欢迎添加小编微信号:cv_huber，一起探讨更多有趣的话题！