论文笔记:Multi-Institutional Deep Learning Modeling Without Sharing Patient Data

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接: https://blog.csdn.net/WhoisCong/article/details/102732840

论文目的:探究性论文,利用联邦学习结合传统的语义分割深度学习框架UNet,解决医学肿瘤图像识别中数据孤岛与数据隐私问题。并探究最近的三种联合学习技术的优缺点(federated learning (FL) ,institutional incremental learning (IIL), cyclic institutional incremental learning (CIIL) )

IIL: 参与训练的机构顺序排列,数据按这个顺序依次训练传递,前一个机构用自己的数据训练的模型传递给后一个机构用自己的数据重新训练。
CIIL:在IIL的基础上多次循环迭代。

论文提出影响FL训练的三个超参数:

  1. EpR 数量 (每个 round 的 epochs 数量):大的 EpR 会更快的收敛,但是获得模型的次数就变少了。
  2. 参与者数量
  3. 模型更新与压缩方法

作者主要探究了在不同的 EpR 下,以及不同的参与者数量,FL + UNet 的性能比较。

加密方式:差分隐私

实验数据集:BraTS 2018 training dataset(包含有285位脑肿瘤患者的MRI扫描结果)

实验:

实验一:首先是探究不同的参与者数量下,三种联合学习技术以及数据集中化训练得出的模型指标对比。

(Data-sharing:指的是数据集中化训练;Simulated:指的是通过平分数据集模拟出的多个参与者参与训练;Real:指的是真实的数据分布情况,数据来自10个机构。)

为了避免偶然性实验进行了多次结果表明:联邦学习的方法训练可以和数据集中化训练达到几乎一样的DC指标,CIIL 稍差,而 IIL 最差。
此外,结果中可以看到,当平均下来每个机构的数据越来越少时(例如当模拟32个机构是,每个机构平均只有5.6个患者的数据),IIL和CIIL的性能下降是非常明显的,而FL却可以很好地运行在这种情况之下。

实验二:此外实验还探究了不同的 EpR 对实验结果的影响:

可以看到,更大的 EpR可以更快的收敛,不过最终都可以达到一个差不多的还不错的峰值。

实验三:探究 FL 与 CIIL 的收敛趋势。

FL 收敛是比较稳定的,而CIIL的波动非常剧烈,这就要求训练的过程中,需要不断地去测试模型的性能,这就会造成网络吞吐上的负担。(FL 每一个迭代都需要与所有机构网络传输交互分发模型,而CIIL只需要和上一个机构接受模型以及传输模型给下一个机构两次网络交互,但是如果CIIL需要不断的去在中间测试模型的性能,将同样产生网络吞吐上的负担)

总结:

作者实验探究发现,FL结合现有的深度学习框架可以在保护用户隐私以及解决数据孤岛问题的前提下,达到和数据集中化训练几乎一致的效果。并且性能上要优于当前其他联合学习技术 IIL, CIIL.
它的优势在于:

  1. 可以适应在有某些机构数据量较少的情况。(IIL,CIIL由于是顺序训练,下一个机构训练时将会有可能覆盖上一个机构训练的结果,在某些机构数据较少时,这个问题尤为严重,而联邦学习是并行的,不会有这个问题。)
  2. 可以很稳定的收敛。

猜你喜欢

转载自blog.csdn.net/WhoisCong/article/details/102732840