怎么去利用训练较短的客户端剩余的时间进行计算卸载或者是计算迁移

该文献的场景、动机、针对什么问题、使用了什么方法解决

01 Federated learning based on asynchronous and adjusted client training --基于异步和调整的客户端训练的联邦学习

问题---在实际的FL环境中,参与者通常是异构的,他们拥有的数据通常是非独立同分布(Non-IID)和不平衡的(在水平联邦学习中,Non-IID通常指标签分布偏差,例如,参与者只拥有类的一个子集的数据样本[17])。一方面,设备的异构性通常会导致服务器等待掉队者[18],从而减慢FL进程[19]。另一方面,参与者的数据非iid和不平衡可能会严重影响模型的收敛速度,甚至可能导致不收敛。

动机---为了解决上述问题,我们提出了一种结合调整客户端训练的异步FL方案。该方案根据客户端模型参数的过时程度和客户端拥有的数据量确定聚合权值,并利用平均训练损失动态调整每个客户端的局部训练,加快FL的训练速度。

方法---异步FL算法FedAsync,该算法允许服务器收集和汇总客户端的更新参数,并异步进行每个客户端的本地更新训练。每个客户端完成本地更新训练后,立即上传参数。服务器从客户端接收到更新后的参数后,将聚合到全局模型中,并将新的全局模型发送给客户端,以开始下一轮训练。

场景---小型无人机部署中的机器学习复杂的群体智能任务。

02 FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server----FedDUAP:使用服务器上的共享数据进行动态更新和自适应修剪的联邦学习

场景---联邦计算中计算资源有限和训练效率低

问题---一方面,虽然从众多设备上收集了大量数据,但单个设备上的数据可能是有限的,这导致局部训练的有效性较低。另一方面,局部设备通常具有有限的计算能力和通信能力,这导致局部训练过程效率较低。

动机---提出了一种新颖的FL框架,即FedDUAP,利用服务器端不敏感数据和边缘设备中的分散数据,进一步提高训练效率。

方法---提出了FedDUAP,这是一个高效的联邦学习框架,它使用设备数据和服务器数据协同训练全局模型。提出了一种动态FL算法,即FedDU,该算法根据全局模型的精度和随机梯度归一化的非iid度动态调整全局模型。设计了一种自适应模型修剪方法,即FedAP,以减小全局模型的大小,从而在保证相当精度的同时进一步提高效率,降低训练过程的计算和通信成本。FedAP根据非iid度和服务器数据,对特定维度和重要性的每一层执行独特的修剪操作,以实现效率和有效性的良好平衡。

03 Client Selection for Generalization in Accelerated Federated Learning: A Multi-Armed Bandit Approach----加速联邦学习中泛化的客户端选择:一种多臂强盗方法

场景---在FL中,选定的客户端训练他们的本地模型,并将模型的一个函数发送给服务器,这消耗了随机的处理和传输时间。联邦学习中的客户端选择方法先前的研究表明,客户端选择对模型的性能和训练延迟有很大的影响。

问题---每次迭代都在服务器从所有计划的客户端接收训练好的模型时结束,每个迭代都经历不同的随机延迟。

动机---开发了一种新的客户端选择算法,该算法优于现有的方法,在减少训练延迟方面取得了很强的性能,同时不损害模型的泛化。

方法---开发了一种新颖的基于mab的FL系统客户选择方法,旨在最大限度地减少训练延迟,同时保持模型的泛化能力。

04 Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge-----移动边缘环境下异构资源联合学习的客户端选择

场景---用于机器学习(ML)技术的移动边缘计算(MEC)框架

动机---fe dc解决了一个具有资源约束的客户端选择问题,它允许服务器聚合尽可能多的客户端更新,并加速ML模型的性能改进。我们使用公开的大规模图像数据集进行了实验评估,以在MEC环境模拟中训练深度神经网络。

问题---当某些客户端的计算资源有限(即需要较长的更新时间)或无线信道条件较差(上传时间较长)时,整个训练过程可能会变得低效。

方法---一种被称为Fed-CS的新协议,它可以有效地运行FL,同时MEC框架的运营商可以主动管理异构客户端的资源。具体来说,F e d CS为客户端在FL协议中下载、更新和上传ML模型设置了一定的截止日期。然后,MEC操作员选择客户端,使得服务器可以在有限的时间帧内聚合尽可能多的客户端更新,这使得整个训练过程高效,并减少了训练ML模型所需的时间。从技术上讲,这是由客户选择问题制定的,该问题确定哪些客户参与培训过程,以及每个客户何时必须完成培训过程,同时考虑客户施加的计算和通信资源约束,我们可以以贪婪的方式解决这些约束。

05 FedSA: A Semi-Asynchronous Federated Learning Mechanism in Heterogeneous Edge Computing----异构边缘计算中的半异步联邦学习机制

场景---在同步FL中,参数服务器必须等待最慢的worker,由于边缘异构性导致等待时间很长。

动机---既能提高效率,又能保证时效精度。

问题---同步机制使得系统中的计算资源利用率低,全局模型需要更长的时间才能收敛。异步机制可能会导致大量的通信资源消耗,因为它们需要在worker和参数服务器之间频繁地传输模型[27]。其次,离散者的存在导致工人参与异步更新的相对频率不同,导致他们的局部模型相对于全局模型有较大的过时性[28],导致训练精度较低,特别是在Non-IID数据上。

方法---提出了一种半异步联邦学习机制(federsa)。在每一轮中,参数服务器从一定数量(例如M)的工人那里接收到本地模型后,根据工人到达参数服务器的顺序,它将这些本地模型聚合起来。在此基础上,从理论上分析了培训绩效与参与人数、数据分布、边缘异质性和沟通预算等因素之间的定量关系。在此基础上,我们提出了一种有效的算法,根据边缘异质性和工人之间的数据分布来确定M的最优值,从而在给定通信预算的情况下最小化训练时间。

06 Client Selection With Staleness Compensation in Asynchronous Federated Learning----异步联邦学习中具有过时补偿的客户端选择

场景---客户机和服务器之间的无线通道通常不可靠,这对具有高维参数的模型聚合提出了相当大的挑战。

动机---无线网络上实现异步FL算法

问题---无线网络上异步FL的训练延迟

方法---制定了无线网络上异步FL的训练延迟最小化问题。为了最小化训练延迟,结合了一种过时补偿算法和一种有效的基于上置信度界(UCB)的客户端选择算法。为了减少陈旧的不利影响,该算法通过将梯度的泰勒展开的一阶项加入到近似原始模型梯度中来补偿陈旧。该算法具有较低的计算成本和存储成本。

07 Energy-Efficient Task Offloading for Vehicular Edge Computing: Joint Optimization of Offloading and Bit Allocation----面向车辆边缘计算的节能任务卸载:卸载与比特分配的联合优化

场景---在车联网场景下

动机---降低车辆能耗

问题---由于车辆的移动,通信环境具有时变特性,因此寻找最优卸载参数仍是一个待解决的问题。

方法---共同优化多车的卸载比例和上行/计算/下行比特分配,以在时延约束下使车辆总能耗最小

08 多用户 D2D 计算卸载与资源分配算法

场景---多用户场景下对用户的计算卸载

动机---对空闲用户的计算资源分配决策进行优化,以最大化需求用户与空闲用户的效用。

问题---卸载时导致异地边缘服务器空闲状态下资源浪费问题

方法---提出了基于斯坦柯尔伯格博弈(Stackelberg Game)的优化算法

猜你喜欢

转载自blog.csdn.net/m0_48022770/article/details/133618302