联邦学习:AI大规模落地又一革命性突破

联邦学习:AI大规模落地又一革命性突破

一方面,AI在安防行业的探索才刚刚开始;另一方面,做好AI所必须的数据养料有限且质量较差,不同数据源之间存在难以打破的壁垒。

除了少数几家拥有海量用户、具备产品和服务优势的巨无霸企业外,大多数中小型AI安防企业难以以一种合理、合法的方式跨越人工智能落地的数据鸿沟,或者需要付出巨大的成本来解决这一问题。

外,随着大数据的发展,重视数据隐私和安全已经成为一种世界性的趋势,一系列条例的 出 台 更是加剧了数据获取的难度,这也给人工智能的落地应用带来了前所未有的挑战。

何解?

针对这个问题,经过和六位学术界、工业界领头人的采访,得到的答案比较一致: 从目前的研究进展来看,“联邦学习”技术可能是解决以上问题的最佳选择。

联邦学习的概念最初由谷歌在2016年提出,在中国,香港科技大学讲席教授、微众银行首席人工智能官(CAIO)杨强教授算是联邦学习研究第一人。之后包括微众银行、腾讯、平安科技、华为、京东等在内的国内企业和机构推动联邦学习进入了学术研究与行业落地新阶段。

联邦学习之所以能够在如此短的时间里迅速由一个构想变为一门学科,主要因为它可以让参与各方在不披露底层数据的前提下共建模型,之后利用整个数据联邦内的数据资源,提高每个成员的模型表现。

通俗来说,深度学习时代,每个AI企业的技术能力是单打独斗式的;而联邦学习的出现,更为紧密、安全地将各个AI企业联系在了一起,联邦中的每个成员都可以用最快的速度提升自身能力的同时汲取别人的长处,最终获得共同成长。

譬如A厂商有校园数据、B厂商有工厂数据、C厂商有社区数据,且这三家厂商都使用了联邦学习技术。

从业务层面出发,A、B、C这三家厂商便直接获得了两种能力:1、最快速地优化自身业务;2、最快速地拓展新业务。

最快速地优化自身业务表现在,平台每天会有若干个类似A厂商的企业向平台输入加密后的数据模型,而这些数据模型中有A厂商非常缺乏的其他数据信息,而A厂商便可根据这些数据去更新自己的算法模型。

最快速地拓展新业务表现在,A、B、C每家厂商都有各自构建好的模型,通过汇总去得到更大的数据模型,在不流通数据的情况下得到数据流通的最好效果,通过资源互补可以在最短时间内安全地获得对方的能力,去拓展新业务。

从隐私保护层面来看,通常智能摄像头产生的数据会被上传到后台服务器中,然后由部署在服务器上的神经网络模型根据收集到的大量数据进行训练得到一个模型,服务商根据这个模型来为用户提供服务。

这是一种集中式的模型训练方法,这种方式很难保证数据隐私安全。

而联邦学习就不再是让数据发送到后台,而是在每个企业自己的服务器上进行训练,并加密上传训练模型,后台会综合成千上万的用户模型后再反馈给用户改进方案。

相较传统学习模式,联邦学习的优点是显而易见的:

1、在联邦学习的框架下,各参与者地位对等,能够实现公平合作;

 

2、数据保留在本地,避免数据泄露,满足用户隐私保护和数据安全的需求;

 

3、能够保证参与各方在保持独立性的情况下,进行信息与模型参数的加密交换,并同时获得成长;

 

4、建模效果与传统深度学习算法建模效果相差不大;

 

5、联邦学习是一个「闭环」的学习机制,模型效果取决于数据提供方的贡献。

在传统的方法下,用户只是人工智能的旁观者——使用,但没有参与;而在联邦学习场景下,每个人都是“驯龙高手”,每个人都是人工智能发展的参与者。

发布了416 篇原创文章 · 获赞 672 · 访问量 135万+

猜你喜欢

转载自blog.csdn.net/weixin_42137700/article/details/104070790