白交 发自 凹非寺
量子位 报道 | 公众号 QbitAI
深度学习在计算上受到限制并不是一件「新鲜事」。
只是在过去十年里面，这种计算限制被「淡化」了。人们专注于「算法」优化和「硬件」性能的提升，以及愿意投入更高的「成本」来获得更好的性能。
性价比这件事，从来没被严肃以待。
但是现在，深度学习的计算需求越来越大，这些所谓的「方法」开始变得无济于事了。
最近，MIT计算机科学与人工智能实验室的研究科学家Neil Thompson发表了最新研究，主题旗帜鲜明：「Computational Limits of Deep Learning」。
用46页、研究千余篇论文告诉你，深度学习的算力局限在哪里。
从设置的生成模型中发现理论上的算力局限。
首先，来看看理论上的算力局限。
他们设置了一个生成模型，在可能的1000个参数中，有10个非零参数，并考虑4个模型来尝试发现这些参数。
Oracle model：在模型中有完全正确的10个参数。
Expert model：模型中恰好有9个正确参数和1个错误参数。
Flexible model：拥有模型中所有1000个潜在参数，并使用「最小二乘估计」。
Regularized model：跟「Flexible model」一样，它拥有模型中所有参数，但是是在正则化模型中。
于是，就得出了这样的结果——模型复杂度与正则化对模型性能和对计算要求的影响。
其中模型性能，是以与最佳预测器相比预测的归一化平均平方误差的负对数（以10为底）。
可以看到，随着样本量的增加，Oracle model跟Expert model一开始表现出更好的性能，而Flexible model和Regularized model这两个模型后进之势十分猛烈。
而与之相应的「计算要求」，Flexible model和Regularized model跟前两个压根就不是一个量级的。
这恰好印证了吴恩达的一个观点：
当数据量小的时候，传统的机器学习技术做得更好，但灵活的深度学习模型在数据量更大的情况下做得更好 。
那么这篇论文将这一见解推向了更加广泛的结论：
灵活的深度学习模型有更大的潜力，但也有更大的数据和计算要求。
1058篇论文看到实际中的算力需求
直接上图。
可以看到，所有的深度学习模型的实际算力需求，在近几年里，远远高于「硬件性能」提升中需要的计算能力。
为了研究深度学习对计算的依赖性，团队研究了1058篇研究论文。
涵盖了图像分类（ImageNet基准）、对象检测（MS COCO）、问题回答（SQuAD 1.1）、命名实体识别（COLLN 2003）和机器翻译（WMT 2014 En-to-Fr）等领域。
以图像分类为例。
ImageNet为基准，显示了ImageNet数据集上图像识别错误率的下降及其与这些模型的计算要求的相关性。
除此之外，在问题回答、命名实体识别、机器翻译等领域也表现出了对计算能力的依赖性。
除了机器翻译（英语到德语），使用的计算能力的变化很小。其他的模型的依赖性都很强，其中问题回答的依赖性达到了7.7。
总的来说，在深度学习的许多领域中，训练模型的进展都依赖于计算能力的大量增加。
但随之而来的，就是「高昂的研究成本」。
MIT助理教授，清华大学校友韩松，就曾说过：
深度神经学习网络在计算上非常昂贵，这是一个关键的问题。
今年一月，Facebook的AI副总裁Jerome Pesenti在接受《连线》采访时，就表示，该领域很快就会「碰壁」。
AI科研成本的持续上涨，或导致我们在该领域的研究碰壁，现在已经到了一个需要从成本效益等方面考虑的地步，我们需要清楚如何从现有的计算力中获得最大的收益。
现在，用千余篇论文研究再次证实了这一结论。
那么对于现在的机器翻译、自动驾驶等项目需要重新考虑一下，「如何实现以最低的成本实现收益最大化」。
换而言之，作为商业模型来落地的AI翻译和自动驾驶项目，是时候要用「性价比」来重估了。
你觉得呢？
论文地址：
http://www.neil-t.com/moores-law-and-computer-performance/
参考链接：
https://www.wired.com/story/prepare-artificial-intelligence-produce-less-wizardry/
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。
了解AI发展现状，抓住行业发展机遇
如何关注、学习、用好人工智能？
每个工作日，量子位AI内参精选全球科技和研究最新动态，汇总新技术、新产品和新应用，梳理当日最热行业趋势和政策，搜索有价值的论文、教程、研究等。
同时，AI内参群为大家提供了交流和分享的平台，更好地满足大家获取AI资讯、学习AI技术的需求。扫码即可订阅：
AI社群 | 与优秀的人交流
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !