论文阅读——Retinal Vasculature Segmentation Using Local Saliency Maps and Generative Adversarial Networks For Image Super Resolution
from IBM Research Australia
ICIAR2018
Abstract
本文提出了基于生成对抗网络用于超分辨率重建，根据低分辨率的眼底图像生成scale=16的高分辨率图像。从而可以辅助进行精细的自动化图像分析，尤其对于模糊或小型图像的诊断。局部显著性图谱标注了每一像素点的重要性，根据每点的权重计算出显著性损失（saliency loss)作为GAN损失函数的一部分。实验结果显示生成的高分辨率图像视觉上更接近原始图像，而在进行视网膜血管分割时使用超分辨率图像的准确率与原图接近。
Section I Introduction
常规的视网膜眼底图像需要较高的分辨率来检测、分割早期的病理租住，但不足以检测出校的、不明显的微动脉瘤、出血或小的血管分支。借助图像超分辨率算法可以从单张视盘图像中获得高精度的超分辨率图像，这非常适合远程眼科，因为过程中传输的都是LR低分辨率的图像，而超分辨率图像有助于检测新生血管、分割小的血管分支，这在原来的LR图像中都无法满足。眼科医生可以用它来分析可疑区域的异常。
医学图像超分辨率算法常借助于example或自我相似性（self similarity)的方法，但都严重依赖于外部数据；随后参数化的生成模型可以从原始的LR图像中学习映射到高分辨率的MR脑部图像及心室图像。但对算力要求很高，因为需要在训练集中搜索匹配度最高的候选patch作为HR图像的参考；其他的方法还有借助随机森林、CNN等。近期更多的焦点聚集在GAN来解决超分辨率医学图像的分析问题。
基于ResNet做生成器的GAN架构是最先进的GAN框架，但对于比例因子超过4的视网膜徐翔效果并不好，因为在损失函数中没有显式包含足够的结构信息，为了解决这一问题，本文提出基于GAN的超分辨率算法，对损失函数做了以下创新：
（1）根据曲率图计算出局部显著性图谱，对局部结构信息进行强调
（2）使用熵滤波强调较紧凑区域。
二者联合起来可以较好的保持原LR图像中的内容信息及感官信息，随后将本文提出的方法在视网膜超分辨率图像上进行了测试。
Section II 显著性图谱计算
现有的显著性计算方法都是突出全局的显著区域，然而对于每点像素值的权重则需要借助的是局部显著性图谱，受paper[11]的启发本文将抽象（abstraction）、元素分布（element distribution)以及唯一化（ uniqueness）结合起来计算局部显著性图谱。
Abstraction:
fx,fy是一阶导数 ，fxx,fyy是二阶导数
Element Distribution:
用于捕获结构的紧凑程度以及连续程度，首先计算像素熵Pixel(s):
Ns则规定了邻域的大小（7x7），Pi则是根据直方图计算出的概率密度。
得到的Ient对于不紧凑的区域会分配较低的值，在经过归一化到[0,1]->1-Ient就可以得到高亮的紧凑区域部分。
**Uniqueness:**
Df计算的则是权重差之和，并且为了避免引入模糊，计算的则是i点与第i个临近点si差的绝对值，并且也归一化到[0,1]
最终显著性图谱的计算公式为：
Fig1依次展示了：原图->灰度图->1-Ient->曲率图Icurv->Isal
Section III GAN
ISR负责根据低分辨率图预测出高分辨率图像。
训练时Ilr是高分辨率图像Ihr对应的低分辨率版本，通过在HR图像上进行高斯滤波获得。
生成网络G用于生成超分辨率图像。从Fig2中可以看出，G中引入了残差模块，每一个block中包含2层卷积-BN-ReLU；
判别网络D负责区分SR图像和真实图像，D中卷积核的尺寸从2->64->512,激活用的是Leaky ReLU,经过两层全连接层及sigmoid获得最终的概率图谱。
Part A Loss Function
Content Loss:
Lsr包含内容损失以及对抗损失，alpha为权衡二者比重的因子，其中content loss中MSE会导致SR图像中缺少高频信息，就是计算SR图与原图的L2距离。
因此本文的MSEloss中通过额外加权保留了对感知重要的细节信息。
Loss Saliency Loss
衡量的则是saliency map与HR图像的差异，这样在损失函数中就包含了重要的结构信息。
Adversarial Loss：
就是基于所有训练样本计算出的generative loss
Section IV Experiments and Results
Dataset：从多种渠道获取了5000张视网膜图像，经过旋转和仿射变换扩增了10倍；此外还移除了dark区域，resize到1024x1024大小。
GAN使用的优化器Adam，G生成网络基于ResNet。
比例因子r=2时训练时间14hrs，r=4 26hrs,r=8 40hrs.
Part A 超分辨率结果
参与对比的有：SRGAN-leding,SRGAN-sal(本文），SR-CNN,SSR等。评价指标有：PSNR，SSIM，S3,RMSE.前三个指标是越高越高，最后一个指标越低越好。
Table I展示了对比结果，可以看到本文的SRGAN-sal均取得了最佳结果，Fig3则是可视化结果，其中（a)是原始的HR图像，（b)是文本方法获得的超分辨率图像，可以看到对于细微的血管分支清晰可见，比（c)和（d)效果都要好。
Part B视网膜血管分割结果
采用的数据集有：DRIVE，STARE,CHASE_DB1，分别包含40、20、28张眼底图像，分割框架使用的是UNet，评价指标有Acc和Sen。
从Fig4中可以看出，SRGAN-sal与HR图像的分割结果最为接近，黄色箭头标注的则是分割不精确的部分。可以看到几乎所有图像都无法对细微的毛细血管结构进行精细分割，SSR和SR-RF对一些主要血管分割都不太精确。
Section V Conclusion
本文基于GAN提出了眼底图像的超分辨率算法，借助于局部显著性图谱有效提升了像素的感知相关性，从而可以根据像素的权重计算saliency loss，将这一loss加入到GAN的训练中有效提升了SR图像的质量。实验结果也表明saliency loss与CNN loss联合使用的效果比现有的GAN ISR算法效果都要好，最终获得的超分辨率图像可以进一步用于不同分析，比如将SR图像用于视网膜血管分析时与使用原图取得了相近的分割效果，本文这一方法还可以应用到其他医学图像中。