一、Fedavg
1、从Fedavg改成使用了clip模型
,,,,,修改失败,因为clip模型出来的数据分成图像和文本,改不好,失败告终
2、从fedclip修改成普通的Fedavg
fedclip是使用了clip预训练模型,再添加了基于注意力机制的适配器,联邦时候只更新adap的参数,主干clip网络的冻结的
基本的联邦平均是全更新,两种:①有clip+adap,全更新。②只有clip,删去适配器adap,更新clip
主要代码部分如下:
1、优化器参数:
2、网络是否冻结,适配器是否存在
3、客户端和服务器传播的参数,参数聚合上传部分