基于深度卷积神经网络的宫颈重叠细胞图像分割方法

注：文章为阅读Accurate segmentation of overlapping cells in cervical cytology with deep convolutional neural networks相关注解，该文章发表于NEUROCOMPUTING

概述

领域:宫颈癌前期的细胞学自动分割
方法:提出基于卷积神经网络(DCNNs)的新框架。基于双窗口的细胞检测定位方法,
1. 采用TernausNet将图像像素划分为细胞核、细胞质和背景。
2. 采用DeepLab V2模型将细胞质分割

介绍

目前主要的重叠细胞分割方法主要采用医学图像处理或者计算机视觉常用的传统技术来进行细胞核和细胞质的分割
方法主要有:

Wang等人应用平均位移聚类和一些算法,提出了宫颈细胞学中检测细胞核和重叠细胞质的框架,扩展了景深和体积图像。所得到的单元边界通过一个定义的相似性度量进行估计,然后在像素级别上由粗到细的策略进行细化
Nosrati和Hamarneh结合最大稳定极值区域检测器和随机决策森林来寻找可能的位置,并利用主轮廓模型分割相应的细胞质。
Yan等人开发了一种基于多向水平集方法的RNAi应该全基因组筛选的自动细胞分割方案。
Tareefa等人设计了一种两级分割方法,利用一组图像超像素的局部鉴别形状和外观线索对细胞核和细胞簇进行分割。并采用多通道快速分水岭方法从接触或重叠的细胞团中分割细胞核和细胞质。

存在缺陷:

当细胞聚集程度相对密集的情况下,该方法在分割高度重叠的细胞可能会失败。

细胞识别过程

该文章中提出了一种基于深度学习模型和计算机图像分析技术的宫颈细胞学中重叠细胞的分割方法。如图一所示,其方法是通过两个阶段的框架进行小分割,其中细胞检测阶段的感兴趣区域作为后续细胞质分割阶段的训练样本。
其主要步骤为

用TernausNet模型将图像像素大致划分为细胞核、细胞质和背景。TernausNet模型是广泛用于图像分割的U-Net结构的一种改进。这种预先训练好的网络大大减少了训练时间,同时有助于防止过拟合。
之后采用基于双窗口的细胞定位方法来确定重叠细胞区域。与基于DCNN的方法不同——质分割是通过传统的图像处理方法进行分割;该文章中采用基于DCNN的实例分割,结合细胞检测来分割重叠细胞。实例分割需要能够正确的检测单个对象,并为每个对象分配不同的标签,从而使得机器能够从接触或者重叠的细胞团中识别和提取每个子宫颈细胞。

该论文采用的主流的DeepLab V2模型来分割重叠细胞。DeepLab模型已经被广泛应用于语义图像分割任务中,并在大量的数据集上进行了测试。同时还设计损失函数以此来调整模型,以便能够更好的处理图像,此次论文的贡献主要有:

设计了一种有效结合DCNN和图像处理技术的分割框架,在高度重叠的细胞块中,准确分离细胞核和细胞质,并可以适应和扩展到其他类型的细胞学细胞,譬如乳腺细胞。
通过考虑单元边缘信息,创建了一个新的损失函数,使DCNN模型对于单元像素和边界更敏感,从而提高分割性能。

方法

本文基于深度学习的分割方法由细胞检测、细胞质分割和边界细化三个模块组成。该过程开发了一种细胞检测方法,通过TernausNet模型和基于双窗口的细胞定位方法来提取单个细胞。改进的DeepLab V2模型从图像背景中分割细胞质,之后使用一种后处理方法来细化细胞的外部轮廓。

细胞检测

核候选生成(Nucleus candidate generatioon)

首先将一种基于术语网络的分类方法应用于整个图像。每个像素都被分配给三个标签(细胞核、细胞质和背景)中的一个。该步骤能够初步找到候选核并排除背景和非核物质的初步步骤。TernausNet基于经典的U-Net架构构建,并使用ImageNet的大数据集上预训练VGG11编码器的权重进行初始化。与VGG11不同的是TernausNet用512个通道的单一卷积层取代了全连接层,作为网络中的中心部分。该模型将编码器和解码器分离,从而减少了训练时间,防止了过拟合。分类后,收集所有标记的核像素作为潜在核,用于后续的选择过程,间下图(b)。
细胞核

图2基于双窗口的细胞定位方法的说明。(a)位于N1核中心的两个窗口； (b)CellROI(绿色)，通过考虑N1、N2、R1N1、R2N1、R1N2和R2N2的位置来确定。

核候选选择(Nucleus candidate selection)

为了减少基于TernausNet分类后假阳性核像素,文章通过一个Adaboost分类器来过滤出可能错误的候选核。以此计算了两种类型的纹理特征,包括灰度大小区域矩阵((GLSZM)和定向梯度直方图(HoG)。这些特征被用来训练成分类器。

GlSZM描述符是一种高级的统计矩阵。用于纹理表征。纹理越均匀(大的平坦区域和接近的灰色水平),矩阵就越宽和平坦。GLSZM通过对图像分布的二元条件概率密度函数估计提供了一种统计表示,同时对图像噪声[27]具有良好的鲁棒性。基于GLSZM矩阵,共计算了13个图像属性。它们是小/大区域强调、灰度/区域大小不均匀性、区域百分比、低/高灰度、小区域低/高灰度强调、大区域低/高灰度强调、灰度/区域大小差异。

Hog是捕捉图像的局部纹理属性的一个流行特征。一般来说,梯度图像G是通过在水平和垂直方向上应用梯度滤波器进行卷积得到的。得到的G被分成N个小细胞,且不覆盖。对于每个单元格C,计算一个梯度方向和边云方向的直方图hc。Hog特征是所有这些直方图的连接。

细胞定位(Cell localization)

根据所鉴定的细胞核位置,采用双窗发确定细胞区域,如下图(d),所示这些兴趣区域ROI,以此形成训练样本,用于后续的细胞质分割任务。ROI定义为六元组(N_ir、N_ic、DIN_i、DrN_i、DuN_i、DdN_i)的矩形窗口。其中i∈{1,2、…,C},C是以核Ni为中心的核总数。N_ir和N_ic表示图像中核中心的坐标。Dl、Dr、Du和Dd表示N_i核与窗口四边之间的距离。

文章定义了两个初始的平方ROI来标记真实的细胞位置，如图2(a)所示，分别为R₁N₁和R₂N₁。两个代表两个初始ROI的矩形窗口分别为（N_ir、N_ic、D₁N_i、D₁N_i、D₁N_i、D₁N_i）和（N_ir、N_ic、D₂N_i、D₂N_i、D₂N_i、D₂N_i），其中D₁ > D₂。我们设计了一个通过考虑覆盖单元来决定ROI窗口大小的准则。图2(a)给出了一个例子，表明两个细胞核（N1和N2）在一个细胞团内。N2的r1窗口和N1的r2窗口有重叠区域。DlN1等于n1和n2之间水平距离的一半。否则，DlN1等于D1N1。同样的规则也适用于DdN1。所得到的ROI如图2(b).所示这一过程确保了提取的准确的细胞区域，包含密集聚集的细胞之间的重叠区域。

图2(a)给出例子，表明两个细胞核（N1和N2）在一个细胞团内。N2的r1窗口和N1的r2窗口有重叠区域。DlN1等于n1和n2之间水平距离的一半。否则，DlN1等于D1N1。同样的规则也适用于DdN1。所得到的ROI如图2(b).所示这一过程确保了我们提取的准确的细胞区域，包含密集聚集的细胞之间的重叠区域。
在这里插入图片描述

图3 (a)带有人工注释的原始图像；(b)细胞核候选检测（绿点）；(c)细胞核候选选择（绿点）；(d)以矩形窗口表示的细胞定位；(e)使用Deeplab V2获得的分割；(f)CRFs后的分割；(g)使用加权交叉熵进行细胞边界细化后的最终分割；(h)使用传统的交叉熵和进行最终分割

细胞质分割

数据增强(Data augmentation)

由于密集分布的单元格很难进行手工标注，利用合成方法对图像进行放大，训练基于DeepLab V2的分割算法。同时数据合成可以为单个单元边界提供更精确的申述注释，避免了手工注释的潜在错误。该方法使用的那个分离的细胞生成聚类细胞图像。随机选择单个细胞，根据以下两个参数合成不同的细胞质量：

每张图像的细胞数量
任意一对细胞之间的重叠比例

网络体系结构设计(Network architecture design)

建立了一个DeepLab V2模型来从图像背景中分割细胞质。该模型通过空间金字塔池(ASPP)提供了学习多尺度上下维度特征的能力。其被有效的扩大现场，以合并更大的上下文。同时利用预训练的ResNet-101作为主要的特征提取器。同时在ASPP层添加了一系列不同膨胀率的膨胀均绩取代了模型的最后一个块(Conv5x)。

ResNets是一个深度残差学习的框架，以此来方便训练深度卷积神经网络。其包含有4个不同残次单元数的计算块，这些执行单元执行一系列的卷积操作，可以定义为
$y_1=F(x_1)+x_11$
其中 $x_1$ 和 $y_1$ 是第l个单位中的输入和输出向量。 $F$ 表示具有两个或多个卷积层的残差映射。该公式可以通过具有快捷连接的前馈神经网络（跳过一个或多个层）来实现。快捷连接可以简单地使用身份映射实现，这导致一个最优模型具有增加网络深度的精度颗粒。

算法1 细胞合成算法

Inputs: Original images(O), nuclei masks(NM), cellmasks(CM),NUM, and OR
Output: Synthesis image(S)

Extracting the isolated cells SCi,(i ∈ {
    
    1, 2, . . ., N}), and obtaining
the background set Bj, (j ∈ {
    
    1, 2, . . ., M}) via a random selection
of background pixels

Step 1: Placing NUM cells with specified OR on a512 × 512 canvas
for i = 1 : NUM do
  Randomly choosing asingle cell sci from SCi
  if i = 1 then
    Translatingand rotating sci with a random distance and angle
    Randomly generating the other cell positions within a regioncenter on sci
  else
    Moving sci to (tx,ty) inthe region and then rotating it with
    a random angle
    Checkingthe validity of the overlapping ratio (or) between
    sci andsci−1 based on OR
    if or < OR then
    	Adding sci onthe canvas
    end if
  end if
end for

Step 2: Computingoverlapping cells’ gray values
for k1 = 1 : NUM do
  for k2 = 1 : NUM do
    Defining a random value α ∈ {
    
    0.8, 0.99}
    Defining a cell intersecting region Rkk
    Rkknew = max(sck1(Rkk) − sck2(Rkk), α ×
    min(sck1(Rkk), sck2(Rkk)))
  end for
end for

Creating S by adding background from Bj and Gaussian noise

全连通条件随机场(CRFs)

在运行DeepLab模型后，将完全连接的作为后处理方法，得到最终的细胞质分割。与深度神经网络相结合的全连接CRFs在自然图像和医学图像中都表现出了更好的分割性能。像素级深度学习模型根据图像得到的特征独立地对每个像素进行分类，产生不满意的分割结果。条件随机场将像素之间关系的先验知识合并到划分过程中。全连通的crf采用所给出的能量函数为

$E=\sum_p \psi_p((x_p)+\sum_{pq} (x_p,x_q)$

其中 $p$ 和 $q$ 是连接的图像像素， $x$ 是像素的标签分配。第一项可以使用一元势 $ψ p (x p) = - l o g (P (x p))$ 来实现，其中 $P （ x p ）$ 是由DeepLab模型计算的像素 $p$ 处的标签分配概率。第二项是成对势，它具有一种形式，允许在使用完全连接的CRF时进行有效的推断，它可以表示为
$\psi_{pq}(x_p,x_1)=\zeta (x_p,X_q)\sum_{m=1}^2 ω_mk_m(p,q)$
其中， $ζ （ x p ， x q ） = 1$ 当 $x_p = x_q$ 时，否则为零，这意味着只有具有不同标签的节点才会被惩罚，而 $ω_m（m∈{1,2}）$ 是一个预定义的权重来平衡这两项。 $K （ p ， q ）$ 在不同的特征空间中使用高斯核来表示：
$K_1(p,q)=exp(\frac{||P_P-P_q||^2}{2\sigma^2\gamma}-\frac{||C_P-C_q||^2}{2\sigma^2\beta})$
$K_2(p,q)=exp(\frac{||P_P-P_q||^2}{2\sigma^2\gamma})$
其中， $Pp$ 、 $Pq$ 、 $Cp$ 和 $Cq$ 分别为像素 $p 、 q$ 的位置和RGB颜色。参数 ${σ_α，σ_β，σ_γ }$ 控制了高斯核的尺度。图3(f)显示了执行CRFs后的分割结果。总之，文章将ResNet结构、无卷积、ASPP和完全连接的CRFs结合到一个分割网络模型中，以实现优越的细胞质分割和沿细胞边界详细的细胞分割图。

单元格边界细化

为了获得精确的单元轮廓，文章采用了基于距离正则化水平集演化（DRLSE）的分割方法，其中导出了距离正则化项和外部能量项来驱动零水平轮廓向期望位置的运动。能量函数 $E (φ)$ 被定义为
$ω_1R(\phi ) + ω_2L (\phi ) + ω_3A(\phi )$
其中， $\phi$ 表示图像域中的水平集函数， $ω_1，ω_2，ω_3)$ 为平衡这三项的权值。R是正则化项， $\zeta$ 是距离项，A是区域项。它们是由
$R(\phi )\triangleq \int_\phi R(∇\phi )dx$

$KaTeX parse error: No such environment: eqnarray at position 9: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ R(\phi ) = …$
$L(\phi)\triangleq \int_\Omega gδ(\phi )| ∇ φ|dx$
$A(\phi),\triangleq \int_\Omega gH(\phi )dx$

其中H为杂维化函数，δ为 $H. g = 1/（1 + |1 +∇G_σ*I|^2）$ 的导数，其中 $G_σ$ 为标准差为σ的高斯核。从DeepLab模型中获得的分割映射作为基于DRLSE的分割方法的初始化。与单个像素作为初始点相比，DRLSE方法需要少量的迭代来将零级集从初始化的边界移动到所需的单元格边界。另外，给 $ω_3$ 分配了一个较小的值，以避免边界泄漏问题。最终的细胞边界，如图3(g)所示，通过DCNN和水平集方法进行分割和细化得到。

结语

该文章提出了一种基于DCNN的方法,解决了在数字化细胞学图像中,从细胞群中分割每个单独细胞的问题。设计的框架共分为三个阶段:1、细胞检测 2、细胞质分割 3、边界细化。结合改进的DeepLab模型和计算机图像技术,可以在分割非均匀的细胞质提供优越的性能。实验结果中,DSC、FNRo和TPRp分别为0.93、0.11和0.93。