Blockchain-empowered Federated Learning Challenges, Solutions, and Future Directions


论文地址:https://dl.acm.org/doi/abs/10.1145/3570953


1. Introduction

计算能力的进步加速了机器学习和人工智能技术在各个领域的应用。机器学习算法的性能高度依赖于训练数据的质量。数据中往往包含隐私敏感信息,数据拥有者不愿与他人共享,使得数据的获得更加困难。数据拥有者之间形成了数据孤岛(data island),彼此独立,互不联系,阻碍了机器学习的发展。

​为了解决数据孤岛问题,研究者提出了联邦学习,通过本地计算模型更新来训练共享模型。联邦学习允许用户在不交换数据的前提下实现模型训练,极大程度的保护了数据隐私。然而,联邦学习仍存在具有挑战性的问题,如缺乏激励机制、模型安全性、系统异质性。此外,许多研究采用集中式的方式,即由一个可信的中央权力机构来监督模型训练,从而带来了单点故障、对攻击的脆弱性、缺乏信任以及难以计算奖励等问题。

​区块链技术源于去中心化的加密货币系统,有潜力解决联邦学习中集中化所带来的问题。通过将区块链技术与智能合约相结合,用户能够在没有中心第三方的情况下执行可信可追溯的交易。Blockchain-empowered federated learning (BlockFed) 能够保证数据隐私、模型安全、计算可审计。


2. Background and motivations

2.1 Federated learning

联邦学习最关键的创新是收集经过训练的局部模型而不是原始数据,从而较好地保护了数据隐私。一般来说联邦学习如下循环进行:

1)Client selection. 协调器coordinator根据一定的标准(如历史活动、模型质量、网络带宽和计算能力)从样本设备中选择一些客户端。通过预先设计了这些标准,使联邦学习系统摆脱恶意客户端设备。
2)Client calculation. 每个选定的客户端从协调器接收共享的全局机器学习模型,并进行模型训练,以本地数据作为输入来更新本地机器学习模型。
3)Model aggregation. 协调器聚合来自客户端设备的模型或更新。为了提高效率,一旦有足够数量的客户端设备提交了模型或更新,协调器可能会停止聚合。从客户端的角度来看,他们可能会在将模型发送给协调器之前稍微调整模型,以解决数据隐私问题。
4)Model update. 协调器根据参与当前轮的客户端设备的更新或模型来更新共享全局模型。模型更新算法可以是接收到的模型或更新的简单平均值。模型更新算法对收敛速度和最终模型的精度至关重要。
5)Convergence checking. 协调器计算连续两轮之间的模型差异。如果差异小于预定义的阈值,则该过程结束。否则,返回到客户端选择步骤。

Figure 2 展示了client-server联邦学习的系统体系结构。在过程中,中央服务器协调模型训练过程。首先,每个客户端使用本地数据训练本地机器学习模型,并将其发送到中央服务器。然后,中央服务器将接收到的本地模型聚合为更新的全局模型,并将其发送回客户端。在客户端-服务器联邦学习中,需要一个可靠、鲁棒的中心服务器。然而,它并不总是可用的。为此,联邦学习系统可能不包括一个中央协调器,而是被设计为一个点对点(P2P)网络。
在这里插入图片描述

Figure 3展示了P2P联邦学习的系统架构。此模型进一步提高了数据安全性,因为客户端无需第三方机构的帮助即可直接相互通信。通过客户端设备之间的直接通信来执行模型聚合和更新。然而,由于消息的加密、解密和传输需要大量的计算和网络资源,P2P联邦学习在实际应用中并没有得到广泛的应用
在这里插入图片描述

2.2 Blockchain

区块链是由一系列数据块组成的分布式账本,其中每个数据块包含一组可验证的交易。Figure 4描述了区块链的结构。除第一个数据块外,区块链中的每个数据块都包含前一个区块头的哈希值,使区块逐一链接。区块链采用独特的共识机制,例如工作量证明(PoW)和权益证明(PoS),由节点的P2P网络运行,使每个数据块难以生成但易于验证。具体来说,区块链具有以下四个特点:

1)Decentralization. 区块链不需要中央机构来管理密钥、确认交易、生成区块。
2)Immutability. 由于区块链的加密基础,没有用户可以独立决定修改交易或块。任何想要更改区块链信息的人都必须攻击网络中51%的节点。
3)Traceability. 区块链记录每笔交易的输入和输出,以便可以轻松跟踪数据变化。
4)Openness. 任何人都可以通过开放接口查询区块链中的数据。

2.3 Federated learning challenges and blockchain solutions

2.3.1 Lack of Incentive Mechanisms.

当客户端设备参与联邦学习任务时,它将消耗一定的资源,包括计算、网络带宽和电池电量。此外,联邦学习框架还面临各种安全风险。更具体地说,好奇参数服务器可以通过生成对抗网络学习客户端训练数据的私有信息。此外,训练过的全局模型可能会泄露给其他从未加入训练过程的设备。由于这些安全问题,客户更不愿意参与联邦学习任务,除非他们能获得足够的回报。因此,必须制定适当的激励措施来激励客户提供数据并加入联邦学习过程。

现阶段方案中仍存在的几点不足之处:首先,几乎所有方案都需要一个值得信赖的中央机构来监控客户的行为并仲裁他们的回报。然而,中央机构很容易受到攻击,遭受单点故障。其次,中央机构在独立的公共审计和决策中有时是不可信的。最后,中央权力机构的作用与客户的作用不同,这使得与客户相比很难估计回报。

产生上述问题的根本原因是联邦学习系统的中心化,借助区块链可以很好地解决这一问题。新的问题是,在生产和实际应用中,高性能设备无法完全被激励参与联邦学习系统,因为它们无法获得可观的回报。这种情况可以通过区块链系统提供的激励机制得到明显的解决。作为基础设施,区块链为用户提供奖励。区块链的高可用性也可以增强设备参与培训过程的信心。由于没有必要强制终端设备按时上网,区块链为终端设备提供足够的灵活性,使高性能设备在完成其他任务返回后仍可被优先选择。

2.3.2 Statistical Heterogeneity.

统计异质性是指来自客户端设备的数据的不同分布。统计异质性极大地增加了问题建模、理论分析和解决方案实证评估的复杂性。统计异质性的挑战有以下两个方面:一方面,当从客户端之间不均匀分布的数据中训练联邦模型时,对异构数据建模是一个挑战。另一方面,分析相关训练过程的收敛性并不容易。

2.3.3 System Heterogeneity.

系统异构性是指联邦学习网络中各设备在计算速度、网络带宽、供电、存储容量等方面存在较大差异。由于每个设备的网络规模和系统相关的限制,通常只支持一小部分设备立即处于活动状态。由于连接和能量的限制,在给定的迭代中,主动设备放弃训练任务是很常见的。这些系统级的功能带来了极大的挑战,例如减少客户流失和容错性。因此,高性能的联邦学习方法必须能够容忍异构硬件,并且足够鲁棒,可以丢弃通信网络中的设备。

2.3.4 Model Security.

虽然客户端会提供他们的私人数据用于训练模型,但我们不能保证这些数据是准确和有用的。恶意客户端可能会故意提供错误的数据来破坏最终的训练模型。我们称这种恶意客户端为主动攻击者。此外,模型可能会被不可信的服务器泄露。服务提供者部署的服务器被认为是被动攻击者。攻击者的目的是破坏学习模型的安全需求,即机密性、完整性和可用性。

首先,攻击者可以窃取训练数据中的敏感信息,并通过泄露模型信息及其预测结果来破坏机密性。其次,对完整性和可用性的威胁主要集中在联邦学习模型的输出上,严重影响模型的正常使用。完整性威胁是指攻击者在预测过程中诱导模型的行为输出指定的分类标签。第三,可用性威胁主要用于阻止用户获得模型的正确输出或干扰用户对某些功能的访问。

解决模型安全问题的现有解决方案通常采用差分隐私(DP)、同态加密(HE)和安全多方计算(SMC)。DP的基本思想是在个人敏感信息中加入噪声以保护数据。在联邦学习中,为了避免反向数据检索带来的信息泄露,引入DP对客户端上传的参数加入噪声。HE可以用来对局部模型的参数进行加密。服务器接收到模型后,利用可加性同态属性计算统计值之和,实现模型的聚合和更新。然后,客户端可以使用它们的私钥对更新的全局模型中的参数进行解密。就SMC而言,它是一种在不知道其他方输入的情况下共同计算输入上的函数的技术。通常,可以通过集成安全方法或改变学习策略来保证模型的安全性。例如,将DP、HE和SMC方法与联邦学习相结合,可以确保局部和全局模型的安全性。然而,这种安全机制在联邦学习中仍然会产生许多不利影响,如DP的成本、加密系统的计算复杂度、多方聚合的通信成本等。

目前的模型安全解决方案不能消除中央服务器窃取数据或篡改模型的可能性。区块链不需要中央服务器来进行模型聚合,以消除分布式系统的安全风险。此外,区块链的身份验证、可追溯性、持久性、匿名性和高可扩展性也保证了模型的安全性。

2.3.5 Data Privacy.

尽管联邦学习允许共享模型而不是原始数据,但在训练期间交互模型更新仍然会向第三方或中央服务器显示敏感信息。此外,恶意客户端还可以从共享参数中推断出其他敏感信息。因此,隐私仍然是联邦学习中的一个重要问题。客户端的隐私通常容易受到两种类型的攻击:模型提取攻击和模型反转攻击。通过模型提取攻击,攻击者试图窃取模型的参数,破坏模型的机密性。通过模型反转攻击,攻击者试图从模型中获取训练数据集的统计信息,从而获取用户的隐私信息。虽然目前的方法旨在使用SMC或DP来增强联邦学习的隐私性,但这些方法通常以降低模型性能或系统效率为代价来提供隐私。从理论上和经验上理解和平衡这些权衡是实现私有联邦学习系统的巨大挑战。

为了消除中央服务器窃取用户隐私的可能性,防止任何客户端使用全局模型重构另一个客户端的私有数据,提出了用于联邦学习的客户端级差分隐私。单个客户机对聚合全局模型的更新可以通过添加随机高斯噪声来隐藏。在分布式联邦学习的情况下,允许每个客户端在本地添加噪声。换句话说,每个客户端在局部梯度下降步骤后局部添加一定量的高斯噪声,并将模型提交给区块链。噪声级别在本地计算,以便区块链的聚合噪声可以实现客户端级别的差异隐私。最后,总结在区块链上的全局模型可以加密,只有参与的客户端拥有解密密钥,从而保护模型免受公开攻击。

2.3.6 High Communication Overhead.

由于训练计算分布在连接到互联网的设备之间,因此昂贵的通信是联邦网络的关键瓶颈。由于带宽、能源、电力等资源的限制,网络中的通信速度可能比本地计算慢。我们相信通信效率还可以通过减少总通信轮数和减少每轮中传输的消息的大小来进一步改进。现有解决方案的缺点可以通过选择合适的共识机制和调整区块链的基本参数来优化。


3. General system models of blockfed

将系统模型分为三种:decoupled, coupled和 overlapped,如Table 3所示。根据系统中节点的功能进行分类。可以观察到,decoupled模型是BlockFed应用中最流行的系统模型。原因是区块链和联邦学习子系统可以分开考虑,使系统实现更容易。但是,decoupled也会增加部署成本,影响系统性能。为此,一些工作采用coupled或overlapped的模型,平衡实现开销、部署成本和系统性能。三种系统模型的定义如下:

​1)Decoupled model. 该系统由区块链子系统和联邦学习子系统组成。对于每个节点,它可以在联邦学习或区块链中工作,不存在节点同时工作在联邦学习系统和区块链系统中。
​2)Coupled model. 所有节点都在联邦学习和区块链中工作。联邦学习和区块链的功能混合在每个节点上。
3)Overlapped model. 部分节点同时在联邦学习和区块链中工作。节点的角色可以动态调整。

在这里插入图片描述

3.1 Decoupled model

在decoupled模型中,系统节点只负责模型训练或打包事务以交付块。Figure 5显示了BlockFed decoupled系统模型。decoupled模型有两种节点:区块链节点和客户端设备。首先,在训练中,客户端设备,如手机、个人电脑、笔记本电脑等,使用它们的数据生成本地模型。然后对本地模型进行加密并上传到区块链节点。区块链节点将相互验证。验证成功后,通过智能合约聚合本地模型,并将聚合模型和训练记录写入区块链。提供本地模型的客户端设备将获得数据奖励和聚合的全局模型。终端设备使用自己的数据更新第n-1轮生成的聚合模型,如果是第n轮训练,则将更新后的模型上传到区块链网络。节点再次执行与第一轮相同的验证和聚合过程,客户端可以从中受益。当模型的准确率达到设定的阈值时,停止训练。BlockFed decoupled模型的一般步骤如下:

1)Client calculation. 每个客户端设备使用数据在本地训练模型。
2)Model upload. 客户端设备加密本地模型,并将其上传到连接的区块链节点。
3)Model verification. 区块链节点从客户端设备验证模型。
4)Model aggregation. 智能合约聚合本地模型,并将聚合模型写入区块链。
5)Model update. 智能合约将聚合模型发送给客户端。
6)Reward distribution. 智能合约向参与培训过程的客户端设备发送数据奖励。

在这里插入图片描述

3.2 Coupled model

​在BlockFed的coupled模型中,系统中的所有节点同时参与区块链和联邦学习。一方面,所有节点拥有数据,并使用这些数据训练本地机器学习模型。本地模型向全网广播。另一方面,节点维护区块链并达成共识,以验证局部模型并更新全局模型。Figure 6描述了BlockFed的coupled模型。在该模型中,节点被称为复合节点,同时进行模型训练和聚合、事务生成和验证、块生成和验证。节点还定期通信以同步机器学习模型、事务和块。BlockFed coupled模型的一般步骤如下:

1)Local calculation. 每个节点使用其数据在本地训练模型。不同的节点可以有不同的数据分布和本地模型。
2)Model broadcast. 每个节点加密本地模型,并将加密模型广播给BlockFed网络中的其他节点。
3)Model verification. 节点之间相互验证模型。验证包括异常模型检测和签名验证。
4)Model aggregation. 智能合约聚合本地模型,并将聚合模型写入区块链。
5)Model update. 智能合约将聚合模型分发到所有节点,这些节点将用于初始化下一轮本地计算。
6)Reward distribution 智能合约将数据奖励和共识奖励分别发送给参与训练和共识过程的节点。

在这里插入图片描述

3.3 Overlapped model

Figure 7阐述了BlockFed overlapped模型的一般过程。该模型有三种类型的节点:区块链节点、客户端设备和复合节点。复合节点既充当区块链节点,又充当客户端设备。除了不同的功能之外,节点还可能随时间改变其类型。这样的overlapped模型平衡了decoupled模型和coupled模型,并利用了两者的优势。但是,由于网络的复杂性,配置起来并不容易。overlapped模型的一般步骤如下:

1)Local calculation. 客户端设备和复合节点本地训练机器学习模型。
2)Model exchange. 客户端设备将加密的本地模型上传到区块链节点,而复合节点将本地模型广播到相连节点。
3)Model verification. 区块链和复合节点验证来自客户端设备和组合节点的模型。
4)Model aggregation. 智能合约聚合本地模型,并将聚合模型写入区块链。
5)Model update. 智能合约将聚合模型发送到所有节点。
6)Reward distribution. 有数据和共识奖励。智能合约将数据奖励发送给参与训练过程的客户端设备和复合节点。此外,共识奖励将分配给参与共识过程的区块链节点和复合节点。

在这里插入图片描述
以上三种模型各有优缺点,适用于不同需求的不同场景。Table 4详细比较了三种系统模型。

在这里插入图片描述

对于decoupled模型,每个节点只参与单个子系统、联邦学习或区块链。与同时参与两个子系统相比,decoupled模型不需要节点提供丰富的资源。此外,单个子系统的设计和配置适合整个BlockFed系统,设计和配置简单。缺点是节点数量多,通信开销大。其次,由于很难评估区块链节点和联邦学习节点的贡献,因此设计激励机制具有挑战性。第三,联邦学习子系统与区块链系统连接松散,难以找到可信的联邦学习节点。第三,联邦学习子系统与区块链系统连接松散,难以找到可信的联邦学习节点。

coupled模型具有较低的通信开销,因为整个系统的拓扑结构与各个子系统的拓扑结构相同。由于区块链和联邦学习的无缝集成,coupled模型在设计和配置上也很简单。然而,coupled模型中的每个节点都需要执行密集的模型训练和共识任务,这需要丰富的计算、存储和网络资源。此外,设计共识机制具有挑战性,因为它需要考虑与联邦学习功能的无缝集成。此外,coupled模型中的每个节点比单个子系统中的节点承担更多的责任,这需要对模型安全性和数据隐私进行额外关注。

对于overlapped模型,实现了coupled模型与解耦模型之间的平衡。区块链和联邦学习功能的分配可以根据节点的可用资源、安全级别等进行优化。尽管overlapped模型具有明显的优势,但与coupled模型和decoupled模型相比,overlapped模型也存在类似的不足。设计overlapped模型的激励机制和共识机制也具有挑战性。由于不同节点在整个系统中所扮演的角色差异很大,overlapped模型在设计和配置上具有很高的复杂性。


4. Challenges and solutions in BlockFed

4.1 Design of Incentive Mechanisms

现有的大多数解决方案仍然是基于token奖励的设计,难以反映数据和计算资源的价值。此外,由于价格波动和系统可靠性问题,选择特定类型的token(例如比特币或以太币)并不容易。

另一个问题是,它需要专门的硬件(如Intel SGX的可信执行环境)和许多用于加密的计算资源,以确保客户得到正确的奖励。由于联邦学习主要在移动设备上执行,因此最好避免使用计算密集型加密或专用硬件。

4.2 Selection of Suitable Clients

在BlockFed中,系统需要在鼓励很多参与者参与训练后,选择参与者。系统首先考虑参与者往往拥有丰富的资源、稳定的通信网络和较高的声誉。

为了实现高质量的客户选择,公平性指标(fairness indicators)是评估客户可靠性的必要指标。以前的工作使用声誉来衡量一个实体在其过去行为的某些活动中的责任感或可信度。这是因为高信誉的客户端将为模型训练带来高质量的数据,即高精度和可靠的数据,并为联邦学习任务生成可靠的局部模型更新。因此,为了更好地执行联邦学习任务,每个任务发布者选择一个信誉良好的客户端,具有高精度和可靠的本地数据,以减少攻击者的影响。

4.3 Design of Efficient Consensus Mechanisms

联邦学习将数据共享的问题转移到模型共享,这给数据共享带来了许多好处,因为只共享数据模型而不共享原始数据有助于保护数据所有者的隐私。由于联邦学习允许共享模型而不是数据,因此使用现有共识进行模型共享将带来很高的计算和通信成本。虽然PoW仍然是该领域使用的主流方法,但由于效率低,直接在BlockFed系统中部署PoW是不切实际的,因为效率是BlockFed的关键指标之一。因此,共识算法的设计在BlockFed中仍然是一个具有挑战性的问题。

4.4 Model Security and Data Privacy

4.4.1 Model Security

模型安全性是指经过训练的全局模型的机密性、完整性和可用性。全局模型的性能不应该在遭受各种攻击的情况下下降。特别是两种攻击,即拜占庭攻击和投毒攻击,会破坏模型的安全性。下面,我们分别介绍它们:

拜占庭攻击是指BlockFed系统中参与节点采取的任意行为,例如故意的消息延迟和遗漏。拜占庭攻击是分布式系统中的主要攻击,可以看作是给定计算节点集合上最坏情况下的无目标攻击。恶意的拜占庭客户端可能会表现出完全任意的行为,并调整其输出以具有类似于正确模型更新的分布,这使得检测具有挑战性。如果BlockFed系统中大多数设备具有相似的计算方法和通信资源,系统将为每轮指定固定的学习时间,从而消除拜占庭式攻击。然而,联邦学习的广泛应用决定了其更广泛的应用范围。不同的情况下,不同的设备具有不同的计算方法和通信资源,从而导致不同的处理时间。固定学习时间的方法是不合适的。抵御拜占庭攻击的有效方法是限制训练过程中的客户端数量并启用sharding blockchain protocol。

投毒攻击是指降低训练全局模型性能的行为。根据攻击者的攻击目标,投毒攻击可分为随机攻击和targeted攻击。随机攻击的目的是降低联邦学习模型的准确性。相比之下,targeted攻击旨在促进联邦学习模型输出对手指定的目标标签。通常,由于攻击者有特定的目标,因此有targeted攻击要比随机攻击复杂得多。投毒攻击可能出现在数据或模型中。毒源可以是本地数据采集阶段的数据,也可以是本地训练过程中的模型。这两种投毒攻击都试图修改目标模型的行为。如果攻击者破坏了联邦学习服务器,他们很容易对训练好的模型实施有targeted和随机投毒攻击。在联邦学习训练阶段,客户端可能会有有意或无意的恶意行为。恶意客户端可能会提交不正确的模型更新,导致联邦学习模型更新失败。非恶意客户端可能会上传基于低质量数据训练的模型更新,仍然可能对全局模型更新造成负面影响。当中央服务器聚合这些本地模型更新来更新全局模型时,会导致全局模型精度低甚至无法使用。所有这些恶意行为,无论是有意还是无意,都可能毒害联邦学习模型。总而言之,当前的联邦学习模型依赖于信任机制,这使得它容易受到中毒攻击。

​在BlockFed系统中,所有现有模型都可以抵御投毒攻击。投毒攻击的地址来自区块链的共识机制。在BlockFed系统中,所有学习的客户端都可以被视为区块链用户或矿工,其余的都是普通用户。在每一轮训练中,可以通过各种共识机制选出一个客户成为获胜者。然后,获胜者收集最新更新的模型,并将其广播到区块链网络,供其他矿工验证。经过验证后,区块链将保存验证后的模型更新并用于进一步处理,同时检测和丢弃虚假数据。此外,在一些BlockFed系统中存在信任管理机制,以奖励或惩罚受信任或恶意的用户。由于他们可以识别伪造和恶意篡改的模型,因此可以抵御中毒攻击。

4.4.2 Data Privacy

​破坏数据隐私的主要攻击类型是推断攻击。推断攻击可以分为白盒攻击和黑盒攻击,白盒攻击是指对联邦学习模型的完全访问,黑盒攻击是指只能查询联邦学习模型。它们通常不会篡改目标模型,但会导致模型产生错误的输出或收集关于模型特征的证据。在联邦学习中,当目标模型作为服务部署时,服务器模型不仅会遭受与传统联邦学习设置相同的逃避攻击,而且联邦学习中的模型广播步骤使模型可以被任何恶意客户端访问。因此,联邦学习需要额外的努力来防御白盒攻击。

在BlockFed系统中,推断攻击主要包括tracking和reconstruction。tracking是指通过模型收集模型特征或推断用户隐私数据,reconstruction是通过干扰目标模型而输出错误标签。有些模型可以完全抵抗推理攻击,在这些研究中,学习模型的异质性决定了它们能够抵抗推断攻击。原因是每个设备都有一个独特的学习任务,没有人知道其他设备上正在运行哪些任务。然而,他们必须收集敏感数据进行分析和学习,以提高检测精度。收集的数据暴露了一些敏感信息,甚至暴露了更多的私人信息。


5. Future research directions

5.1 Performance Improvement

尽管在现有系统中已经为联邦学习开发了许多共识协议,但它们的性能仍然不足,因为它们忽略了联邦学习客户端对共识协议的重要影响。此外,有许多新提出的联邦学习算法,如联邦边缘学习和个性化联邦学习,需要新的高效的区块链共识协议。有必要调整传统的区块链共识算法,使其更节能、更适合联邦学习。一个潜在的解决方案是用联邦学习任务代替随机数搜索问题。通过调整学习精度阈值,实现PoW机制。为此,所有可用的计算资源都可以分配给训练和学习活动,而无法竞争的设备可以为integration做出贡献。区块链和联邦学习在精心设计时是互惠互利的。当通过联邦学习任务实现PoW时,不会消耗额外的计算能力。这样,既节约资源,又提高效率。此外,尽管联邦系统的主要重点应该放在学习效率上,但也应该考虑其他指标,如隐私保护、能源消耗和块生成率。在这种情况下,区块链被作为联邦学习的底层架构。因此,它增加了计算成本,并可能带来隐私和安全风险。

5.2 Optimization of Learning Parameters

​在一些学习算法中,通常假设合作者或服务器已经有一个模型,然后使用该模型进行训练,但这只是有时可能的。即使在BlockFed中,确定谁提供初始模型及其参数也需要大量工作。此外,由于无法访问或验证分布式训练数据,用户将难以选择机器学习模型参数和配置优化器。此外,由于无法访问或验证分布式训练数据,用户将难以选择机器学习模型参数和配置优化器。

​建立训练终止的标准是联邦学习的一个基本问题。在当前的联邦学习中,训练结束的条件可能是协调器设置的预定义阈值。当全局模型参数超过阈值或阈值误差在定义范围内时,训练过程结束。这个条件可以通过在智能合约中包含一个阈值来提前定义。然而,另一种最终情况允许协调器根据合格模型的条件做出决定。在这种情况下,训练的结束条件可以在整个训练过程中发生变化。不幸的是,没有通用的算法可以准确地解释各种模型在训练结束时条件是如何变化的。因此,即使允许智能合约,这个问题也无法解决。

5.3 Personalized Incentive Mechanisms

传统区块链系统中的奖励功能是coin,通常代表获胜者或获胜者群体的一组奖励。然而,在BlockFed中,客户端有不同的计算能力,他们的贡献也取决于数据的质量。然而,与传统的区块链系统不同,所有的客户端都为集成过程做出了贡献,所有的贡献者都应该得到奖励。因此,我们建议使用一种定制的奖励结构,在这种结构中,所有的客户合作达成共识,每个人都是获胜的团队成员。在这种情况下,以token为例,token将按比例分配给所有人。此外,好处可以是双重的。他们将向获胜者支付token,以使用最新的全局模型,用于在学习过程中未被选为客户端的设备。激励系统可以采取各种类型,包括数据奖励,甚至是特定场景下的计算能力奖励。

5.4 Security and Privacy Issues

​虽然BlockFed可以抵御大多数已知的攻击,但一些独特的安全和隐私问题需要立即引起注意。一方面,由于该方案的模型更新验证在non-iid环境下的局限性,需要针对non-iid数据集开发更精确的验证方案,以提高投毒攻击的检测效率。此外,可以使用先进的机器学习技术动态配置可信度阈值,以减轻恶意客户端的有害影响。另一方面,联邦学习一直关注模型变化的隐私性。虽然区块链技术的使用将确保数据的有效性,但它可能会引入额外的问题。两个客户机都可以访问并验证彼此的模型更新。如果恶意客户端秘密执行stealth attack,那么公众可以访问的数据将成为设备的缺点。因此,改进的保护隐私的共享模型至关重要。

5.5 Federated Learning-empowered Blockchain

​这项工作讨论了区块链如何解决联邦学习中的挑战。也就是说,区块链可以显著增强联邦学习的能力。然而,区块链和联邦学习应该是互惠互利的,这意味着联邦学习也可以使得区块链系统受益。据我们所知,联邦学习empowered区块链尚未得到充分研究。从我们的角度来看,区块链中联邦学习的潜力在于两个方面。

一方面,联邦学习可以丰富区块链的功能。自2008年以来,加密货币被认为是区块链最具代表性的应用。近年来,机器学习越来越流行,我们可能会提出这样一个问题:是否可以在区块链上部署机器学习模型或外包机器学习任务,以提高机器学习的安全性和隐私性。我们相信联邦学习是一种适合区块链系统的机器学习范式。机器学习服务可以通过基于区块链的联邦学习系统可靠地提供。另一方面,经过训练的联邦学习模型可以提高区块链系统的性能。在加密货币公共区块链中,矿工应该决定他们的挖矿策略。这些挖矿策略所基于的机器学习模型可以扩展到具有增强隐私性的联邦学习中。

猜你喜欢

转载自blog.csdn.net/WuwuwuH_/article/details/131055194