Facebook是如何使用AI

据国外媒体报道,Facebook的20亿用户中,大多数人都不知道这项服务在多大程度上依靠人工智能来运作。
Facebook的产品,如新闻推送、搜索和广告使用机器学习,在幕后,它提供诸如面部识别和标签、语言翻译、语音识别、内容理解和异常检测等服务,以发现虚假账户和令人反感的内容。
数字是惊人的。总而言之,Facebook的机器学习系统每天处理200多亿次预测和5亿次翻译。Facebook的算法每天自动删除数百万个假账户。
在今年的国际计算机架构研讨会(ISCA)的一次主题演讲中,Facebook AI基础设施集团的负责人金哈泽尔伍德博士解释了该服务是如何设计硬件和软件来处理这种规模的机器学习的。她还敦促硬件和软件架构师超越炒作,开发机器学习的“全栈解决方案”。哈兹伍德说:“重要的是,我们要解决正确的问题,而不仅仅是做别人正在做的事情。”
Facebook的人工智能基础设施需要处理各种各样的工作负载。有些模型可能需要几分钟的时间来训练,而另一些则需要几天甚至几周的时间。例如,新闻提要和广告使用的计算资源比其他算法多100倍。因此,只要有可能,Facebook就会使用“传统的老式机器学习”,而且只需要深入学习——多层感知机(MLP)、卷积神经网络(CNN)和反复出现的神经网络(rnn/lstm)——在绝对必要的时候。
该公司的人工智能生态系统包括三个主要组成部分:基础设施、运行在上面的工作流管理软件,以及像PyTorch这样的核心机器学习框架。
自2010年以来,Facebook一直在设计自己的数据中心和服务器。今天,它运营着13个大型数据中心——10个在美国,3个在海外。并不是所有的这些都是相同的,因为它们是随着时间的推移而构建的,并且它们不提供相同的数据,因为“你能做的最糟糕的事情就是在每个数据中心复制所有的数据。”尽管如此,哈兹伍德说,每个季度公司都“拔掉了整个Facebook数据中心”,以确保连续性。数据中心的设计是为了处理高峰负荷,这使得大约一半的舰队在一天的时间里处于空闲状态,这是可以用来进行机器学习的“自由计算”。
Facebook没有使用单一服务器,而是在生产中花费了数百个工作负载,将它们放入桶中,并为每种类型设计了定制服务器。这些数据存储在布莱斯峡谷和Lightning存储服务器中,培训在大型盆地服务器上进行,这些服务器都是Nvidia Tesla gpu,这些模型都是在双湖单插座和Tioga通过双插槽Xeon服务器上运行的。Facebook继续对谷歌的TPU和微软的BrainWave fpga等专业硬件进行评估,但哈泽尔伍德表示,太多的投资都集中在计算上,而在存储方面,尤其是网络上的投入不足,这与Amdahl的法律相一致,可能会成为许多工作负载的瓶颈。她补充说,人工智能芯片创业公司没有把足够的精力放在软件堆栈上,这给机器学习工具和编译器留下了很大的机会。

 IT33_上海IT外包服务_专业的IT外包服务商

猜你喜欢

转载自www.cnblogs.com/it33/p/9212996.html