论文笔记Client-Edge-Cloud Hierarchical Federated Learning
本文针对FedAvg算法带来的大量的通信开销和边缘计算提出了一种新的结构以及HierFAVG算法。
FedAvg是基于云的联邦学习，本地各个客户端利用本地数据进行训练，将训练好的模型参数上传到云服务器中。参与的客户端数量可达百万，但是带来的开销也是巨大的。与云服务器的通信速度慢且不可预测，使得训练过程效率低下。
基于边缘的联邦学习，参数服务器设置在最接近的边缘，计算的延迟相当于边缘参数服务器通信的延迟，通信开销较小、但是可以连接的客户端数量有限，从而导致不可避免的训练性能的损失。
基于以上两种结构提出客户端边缘分层的联邦学习系统。
HierFAVG算法
各个客户端在本地训练，达到k1轮后在边缘服务器进行聚合，计算参数平均加权
当边缘服务器参数更新k2轮后再上传云服务器，进行聚合（此时本地客户端已进行k1*k2轮本地训练）
论文中对算法的收敛性进行了证明
实验
考虑了图像分类任务，使用数据集MNIST和CIFAR-10。
MNIST使用卷积神经网络
两种non-IID情况
1) Edge IID：为每个客户机分配一个类的样本，并为每个边缘10个客户端分配不同的类。边缘之间的数据集是IID。
2)Edge NIID：为每个客户机分配一个类的样本，并为每个Edge 10个客户机分配总共5个类的标签。边缘之间的数据集是non-IID的。
CIFAR-10
使用具有3个卷积块的CNN
结论：
1）对于两种non-IID数据分布，当我们减小k1时，只需较少的训练次数就可以达到预期的精度，这意味着在设备上需要较少的本地计算。
2）当边缘之间的数据集是IID且与边缘服务器的通信频率固定时，降低与云服务器的通信频率不会减慢训练过程。
图b对于k1=60，增加k2将减慢训练过程。在edge-IID场景下，可以进一步降低与云服务器的高成本通信，性能损失很小。
