Saliency Integration An Arbitrator Model 2018.TMM总结
一、阅读总结
1. 本文提出了什么
- 文章提出了一种显著集成的Arbitrator Model，首先，将多个显著模型的一致性和expertise融合到referrence map中。其次，对不带ground truth的显著性模型的expertise(即重要性、贡献或权重)评估方法。最后，推导了一个贝叶斯集成框架来协调不同expertise的显著性模型和referrence map。
2. 传统的方法有什么劣势
| 作者 | 方法名称 | 具体内容 | 局限性 | 文献索引 | 我的意见 |
|---|---|---|---|---|---|
| off-line显著性模型 | 通过使用预先准备的数据集优化特定的能量函数来权衡候选模型。 | 一旦学习阶段完成，显著性集成模型就固定下来，他们需要付出额外的努力去为训练样本提供真实标签。此外，可拓展性是有限的，因为显著性集成模型的参数设置仅对候选模型的特定组合有效。 | |||
| expertise相等的显著性 模型集成 |
以往的研究大多假设每个候选显著性模型的expertise（即权重或贡献）是相等的。这种假设大大减轻了计算负担。 | 但忽略了这样一个事实：每个候选显著性模型在预测图像时都显示出不同的能力。不考虑候选模型的expertise的显著性集成模型性能可能会降低，因为高级模型的优势很容 | 41，19 | ||
| Mai等人 | 在没有ground truth的 图像上对显著性模型的 性能进行评估 |
使用k种不同的显著目标检测方法来生成k个显著性映射。然后，使用每个图像提供的显著对象掩码来测量每个显著性映射的质量。利用ROC曲线下的流行区域(AUC评分)作为显著性图的客观质量度量。通过根据每个图像的AUC得分对其k个显著性图进行排序来获得每个图像的地面真实性排序。 | proposed to rank the performances of the saliency models on an image without the ground truth. However, since the ranking is a sequence of ordinal numbers, it cannot numeri-cally measure the performance of each saliency model on the image in details. | 42 | |
| Le Meur | M-estimaor的权重函数 | 提出一个M-estimaor的权重函数,来评估候选显著性模型的expertise,根据它们到候选显著性模型的距离线性总和来检测异常模型，并减少异常模型的expertise。 | M-estimaor表明仅对前两个模型的显著性图进行平均，或者只考虑一个专用的训练数据集，确实可以增强预测的稳健性。但考虑全部候选模型时，M-estimaor的表现类似于平均权重的方法，这表明计算出的权重远不能准确地指定候选模型的expertise。 | 37 | |
| Zhang，Quan等人 | 基于超像素的显著性 模型集成expertise估计 |
提出了一个局部空间一致性约束，以保证具有相似特征的相邻图像区域显著性标签的高度相似性，从而对结果进行细化。 | 区域依赖性：应考虑图像区域相对于特定图像区域的困难，因为在不同图像区域中，多个弱显著性预测的一致性不同，这表示不同的图像区域可能有不同的困难被正确地标记 | 49 | |
| 传统方法的相同点总结 |
3. 解决方案
本文着重研究了online显著性集成方法，以同时应对一下两个挑战：
- 显著性集成方法应能有效地online确定每个候选显著性模型的expertise。
- 显著性积分方法应该有一种纠正机制来纠正候选模型的误导，即使大多数模型都会对图像上的某个区域产生误判。
基于上述两个原则，本文提出了一个online显著性集成框架，本文称之为Arbitrator Model。推导了一个包含以下两个部分的贝叶斯框架来协调这些原则：
- 将多个显著性模型和expertise的一致性合并到一个referrence map中，以有效地纠正候选模型的误导。
- 对不带ground truth的显著性模型的expertise评价方法提出了两种不同的online模型expertise评估方法：一种是统计方法，另一种是基于隐变量的方法。这两种方法在没有给定测试图像的标签信息下测量候选模型的expertise，满足了计算候选模型合理expertise的要求。
4. 主要贡献
本文的主要贡献有三：
- 本提出了一个贝叶斯显著性集成框架，该框架充分利用了候选显著性模型和expertise的线索。
- 探索了online测量多个显著性模型expertise的方法，并成功介绍了基于统计的专家估计方法和基于潜在变量的专家估计方法。
- 在最新的显著性集成方法中，本文中被评估的候选作品和组合的数量是最大的。
5. 数据集
本文使用的数据集是ECSSD、ASD、Imgsal、DUT-OMRON数据集。
6. 实验结果
这是他们的测试结果图，GT是真值，最后两列是本文AMS-B,AML-B方法的实验结果。
7. 总结
- 本文提出了一种Arbitrator Model作为一种有效显著性集成模型，以减轻离线模型训练的负担。一方面，AM模型引入了referrence map，通过挖掘多个显著模型和expertise的一致性，克服了劣等显著模型的误导。另一方面，它理性的学习显著性模型的expertise，而不需要以online的方法了解ground truth。本文还讨论了显著性模型的两种online专业评估方法，即基于统计的专家估计方法和基于潜在变量的专家估计方法。可以很容易地观察到，如果没有referrence map，基于统计的expertise比基于隐变量的expertise更准确。(在上图中，AMS-B是基于统计的，AML-B是基于隐变量的)结合referrence map，两种专家估计方法的性能相似，然而，基于潜在变量的方法的计算成本高于基于统计的方法，特别是当候选模型数量增加时，基于统计的expertise比基于潜在变量的expertise更有效。
- AM模型提出了一种新的集成框架，该框架融合了referrence map和不同expertise的候选显著性模型。本文采用多显著性模型的一致性和expertise对referrence map进行逼近，为了进一步提高referrence map的质量，可以采用更复杂的方式引入expertise，即使用多个expertise而不是一个expertise来提高referrence map的有效性。此外，多显著性模型可以在其他形式有助于referrence map而不是多数投票的形式。例如采用平均场近似来估计referrence map。在此项工作中，如果referrence map的质量较差，我们建议采用隐变量的方法，如果referrence map的质量强大，建议使用统计的方法。但是，如果referrence map的质量不确定且不考虑计算成本，也可以将基于隐变量的方法和基于统计的方法结合起来，以稳定专家估计的精度。
- 目前，在AM模型的元细胞自动更新的阶段，细胞的状态只受所有显著图在同一位置的超像素混合的影响。在未来，将探讨细胞相邻超像素的影响。此外，AM框架的referrence map和expertise估计可应用于协同显著性检测和其他任务，如异常检测等。
8. 疑问
- 疑问1：在传统方法的说明中的第3小点，关于Mai的方法的说明中，Salient Object Detection Ranking文章中写到可以得到每个图像的auc得分的，而不只是一个序数序列。而本文中说由于排序是一个序数序列，无法用数值方法详细测量每个显著性模型在图像上的性能。
- 可能因为我没有看两篇文章的细节部分，现在还不知道谁说的是准确的。
