Federated Learning with Non-IID Data 论文笔记
原文翻译参考：https://blog.csdn.net/GJ_007/article/details/104632718
论文通过实验验证了，在non-IID数据中，使用FedAvg算法训练的模型会使准确率降低。
从图中可以看出在non-IID使用FedAvg算法训练的模型准确率有了明显的下降，但是对于IID数据的准确率几乎没有影响。
为了探究原因，原文采用了两种不同程度分布的数据：non-IID1和non-IID2。从图中可以发现non-IID2的准确率比non-IID1的准确率下降的少，所以推测原因是因为数据分布的不同。
FedAvg算法训练的模型准确率收到数据分布偏态性的影响。
研究方法：使用相同的初始化值训练模型，观察得到的权值的差异
定义权值差异
从上图可以看出IID数据中FedAvg和SGD得到的权值差异不大，并观察折线的趋势，在接下来的几轮更新后得到的权值差异也不大。在右图可以观察出FedAvg和SGD得到的权值差异较大，且根据折线的趋势可以看出这种差异会越来越大。
原文采用了EMD方法来计算数据分布之间的差异
推导出公式：
所以第m次同步后的权值差异主要来自第m-1次和和实际总分布的差异
并提出只需共享5%的全局数据便可提高准确率30%
原文最后提到全局共享数据是与客户端不同的数据集，因此对隐私不敏感。
可是原文中并未提到云端全局共享的数据是从哪来的，为什么对隐私不敏感。
没读明白
欢迎大家评论提出自己的看法哈哈
