Gary Marcus “Deep Learning: A Critical Appraisal” in arXiv:1801.00631。其中分析了目前deep learning发展的瓶颈和面临的挑战。
(1) Deep learning thus far is data hungry
目前大部分Deep learning算法需要大数据去训练。相比较而言，真正的高级人工智能需要有能力完成few-shot learning，即从一两个样本出发，就可以总结出高层语义概念，总结出罗辑链条，并且举一反三，触类旁通。
(2) Deep learning thus far is shallow and has limited capacity for Transfer
目前Deep learning算法往往针对某个特定的任务学习一套特定的表达，而不是学习一种可以充分迁移的，放之四海而皆准的通用表达。目前transfer learning，也需要少量samples in target domain作为输入进行学习。当然了，目前方法论能解决的问题距离以上的目标还很远，甚至无从下手。这才是真正的瓶颈和我们应该思考的问题。
(3) Deep learning thus far has no natural way to deal with hierarchical structure
目前deep learning方法还没有能力去处理结构化的知识。我觉得这个论断可以更进一步：目前deep learning无法自动的把内部知识组织成一种清晰的，结构化的，有语义的表达形式。大部分算法依然学得black-box models。
(4) Deep learning thus far has struggled with open-ended inference
自然世界的知识往往是非结构化的，模糊的组织的，而deep networks的输入输出需要确定性的输入输出格式，这样deep learning方法先天的对非open-ended inference不太兼容。当然了VQA的研究者都以做纯粹的，没有先验假设的图灵测试为目标，但是目前的技术距离这个大目标还有较大距离。
(5) Deep learning thus far is not sufficiently transparent
神经网络的知识表达是黑箱。这是个老生常谈的问题。
(6) Deep learning thus far has not been well integrated with prior knowledge
目前大部分deep learning方法完全从训练样本去学习全部表达，但是真正重要的问题是如何给这些算法加入先验知识的接口。我很怀疑人类是否从出生开始才去学习知识。就像初生的小鹿就会奔跑一样，人类也有印在基因里面的先验知识。或许这些先验知识是通往强人工智能的必经之路。
(7) Deep learning thus far cannot inherently distinguish causation from correlation
大部分Deep learning算法无法很好区分因果性和相关性。或者可以说，deep learning算法大多无法从regression的方法论进化到罗辑推理的层面。
(8) Deep learning presumes a largely stable world, in ways that may be problematic
Deep learning算法往往有个特定的环境假设，无法去适应实时变化的世界。
(9) Deep learning thus far works well as an approximation, but its answers often cannot be fully trusted
很多Deep learning算法往往利用“记忆的”模式，对输入数据进行逼近拟合，从而做出判断。因而，这些算法不具有充分的解释性，为每个具体的预测结果无法给出令人信服的理由。
(10) Deep learning thus far is difficult to engineer with
端对端的学习neural networks无法像编程一样实时debug其中的内部表达，无法实时与人交流其内部的表达，无法像父亲教孩子一样手把手的教学，无法像搭积木一样去组织算法的功能。