本文以论文Suggestive Annotation: A deep active learning frame work for biomedical image segmentation为基础，使用量化技术。
1.对具有高度表达性的训练样本使用suggestive annotation进行量化；
2.为了更高的精确度，使用量化对网络进行训练；
思路就是首先改善数据，然后使用改善的数据训练网络。
通过引用前人的工作，作者注意到量化有时能够提高performance，归功于它能够减少过拟合。
除了本文使用之外的有关量化的文章[5,10,14]。
由于本文基于论文[22]，作者首先介绍了论文[22]：
Suggestive Annotation: A deep active learning frame work for biomedical image segmentation
这篇文章的主旨是，首先对原始数据进行提取（multiple suggestive FCNs），然后使用提取的具有代表性的数据进行训练，会有助于效果的提升。论文有两部分组成，如图1：suggestive annotation 和network training。
在inference阶段，使用multiple suggestive FCNs对同一个输入产生multiple predictions，然后使用multiple predictions计算样本的representativeness。
suggestive FCNs 和segmentation FCNs具有相同的网络结构， 每个FCN产生两个输出：目标的轮廓坐标和分割后的目标。评价representativeness的指标有两个：uncertainty and similarity。
具有表达性（representative）的样本应该很难预测，因为这些样本处在特征空间的‘boarder line’，并且每两个之间具有低的相似性，即可以通过有限的数量来表达‘boarder Line‘的变化性。
那么这两个指标通过什么具体表达呢？在suggestive annotation阶段，从multiple suggestive FCNs出来的multiple predictions的标准差被作为uncertainty score（具体是，对同一个输入图像，每个FCN输出一个分割结果，也就是说，每个像素有多个输出结果，对这些预测结果求取标准差，即可得到每个像素值的不确定性，如图2，b），实际上，对这些所有的分割结果求取整体的标准差来作为这张输入图像的不确定性得分。multiple suggestive FCNs的最后一个卷积层的每个通道的平均值被看作是特定领域的图像的描述器，可以使用他们之间互相的余弦相似性来评估图像的相似性。
使用uncertainty 和 similarity来选择具有表达性的训练样本是一个NP-hard problem[22]。一个简单的具有启发性的方法是：首先提取K个最高的uncertainty scores的样本，然后根据similarity在K个选好的样本中，来选择剩下的k（k
深度神经网络的量化技术
1.增量量化Incremental Quantization (INQ)
[23]
2. DoReFa-Net
[24]
3. Ternary Weight Networks（）TWN
[12]
由于量化网络训练相对简单，本文主要关注于量化suggestive annotation。
Suggestive Annotation with Quantization
作者提出的量化框架如图3：
主要有俩部分suggestive annotation with quantization和network training with quantization.
- 给suggestive FCNs增加量化模块，为了得到高的不确定性；
2.使用建议的图像训练量化分割网络，得到更高的精确度。
在建议网络使用量化，可能会导致精确度的下降，但是我们主要关注不确定性，所以只要精确度可接受就行。
通过实验，作者发现，通过量化的建议标注数据的背景的不确定性非常高。
实验
1.确定FCNs的最佳个数。建议标注不适用量化，网络训练使用量化和非量化，然后改变FCNs的个数。如图8。发现5个并行的FCNs效果较好。不过也发现，网络训练使用量化会降低精确度。
变量有网络训练量化和建议标注量化。所以总共有4种组合。
2.探索建议标注量化的效果，两种组合：网络训练使用量化（使用INQ7bits），然后改变建议标注的不同量化（不量化，7bits，5bits）；网络训练不适用量化，然后改变建议标注的不同量化（不量化，7bits，5bits）。如图9。通过实验，发现建议标注使用INQ量化7bits效果最好。也发现并不是使用量化训练网络效果一定会更好，效果也可能比不量化差。
3.探索训练网络使用量化的效果。有两种组合：建议标注使用量化（INQ7bits），改变网络训练量化参数（不量化，7bits，5bits）；建议标注不使用量化，改变网络训练量化参数（不量化，7bits，5bits）。如图10。实验发现，量化训练网络几乎不能提高效果。但是建议标注使用量化后，能够提高对应的未使用建议标注的精度。
