1. The wave of artificial intelligence is rising again
Iconic event, AlphaGo (AlphaGo) defeated Lee Sedol.
alphago is a Go artificial intelligence program developed by David Silver, Ai Jia Huang and Demis Hassabis of Google's (Google) DeepMind company and their team, this program utilizes "value network" To calculate the situation, use the "strategy network" to choose the next move. In October 2015, AlphaGo defeated the European Go champion and professional second-dan player Fan Hui by 5:0; in March 2016, he played against the world Go champion and professional nine-dan player Li Shishi, and won with a total score of 4:1. This has caused the wave of artificial intelligence to rise again, and the heat wave has reached a high level.
The alphago core uses "Deep Convolutional Neural Networks" and "MCTS, Monte Carlo Search Tree" algorithms. Next, let's understand what is the essence of deep learning? Deep Learning == Artificial Intelligence?
2. The origin and concept of deep learning
The concept of deep learning originated from the study of artificial neural networks. A multilayer perceptron with multiple hidden layers is a deep learning structure. Deep learning combines low-level features to form more abstract high-level representation attribute categories or features to discover distributed feature representations of data.
The concept of deep learning was proposed by Hinton et al. in 2006. An unsupervised greedy layer-by-layer training algorithm based on Deep Belief Network (DBN) is proposed, which brings hope to solve the optimization problems related to deep structures. Then, a multi-layer autoencoder deep structure is proposed. In addition, the convolutional neural network proposed by Lecun et al. is the first true multi-layer structure learning algorithm, which uses spatial relative relationship to reduce the number of parameters to improve training performance.
Deep learning is a new field in machine learning research, and its motivation is to build and simulate the neural network of the human brain for analytical learning, which imitates the mechanism of the human brain to interpret data, such as images, sounds and texts.
Like machine learning methods, deep machine learning methods are also divided into supervised learning and unsupervised learning. The learning models established under different learning frameworks are very different. For example, Convolutional neural networks (CNNs) is a machine learning model under deep supervised learning, and Deep Belief Nets (DBNs) is a machine learning model under unsupervised learning .
3. What problem does deep learning solve?
从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算以及一个计算的值，计算的结果被应用到这个节点的子节点的值。考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。输入节点没有父节点，输出节点没有子节点。
这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。
传统的前馈神经网络能够被看做拥有等于层数的深度(比如对于输出层为隐层数加1)。SVMs有深度2(一个对应于核输出或者特征空间，另一个对应于所产生输出的线性混合)。
人工智能研究的方向之一，是以所谓 “专家系统” 为代表的，用大量 “如果-就” (If - Then) 规则定义的，自上而下的思路。人工神经网络 ( Artifical Neural Network)，标志着另外一种自下而上的思路。神经网络没有一个严格的正式定义。它的基本特点，是试图模仿大脑的神经元之间传递，处理信息的模式。
3.1大脑有一个深度架构
1981年诺贝尔医学生理学奖颁发给了David Hubel，一位神经生物学家。他的主要研究成果是发现了视觉系统信息处理机制，证明大脑的可视皮层是分级的。他的贡献主要有两个，一是他认为人的视觉功能一个是抽象，一个是迭代。抽象就是把非常具体的形象的元素，即原始的光线像素等信息，抽象出来形成有意义的概念。这些有意义的概念又会往上迭代，变成更加抽象，人可以感知到的抽象概念。
像素是没有抽象意义的，但人脑可以把这些像素连接成边缘，边缘相对像素来说就变成了比较抽象的概念；边缘进而形成球形，球形然后到气球，又是一个抽象的过程，大脑最终就知道看到的是一个气球。
视觉皮质并显示出一系列的区域，在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流(这里忽略了在一些层次并行路径上的关联，因此更复杂)。这个特征层次的每一层表示在一个不同的抽象层上的输入，并在层次的更上层有着更多的抽象特征，他们根据低层特征定义。
需要注意的是大脑中的表示是在中间紧密分布并且纯局部：他们是稀疏的：1%的神经元是同时活动的。给定大量的神经元，仍然有一个非常高效地(指数级高效)表示。
3.2 认知过程逐层进行，逐步抽象
人类层次化地组织思想和概念；
人类首先学习简单的概念，然后用他们去表示更抽象的；
工程师将任务分解成多个抽象层次去处理；
学习/发现这些概念(知识工程由于没有反省而失败？)是很美好的。对语言可表达的概念的反省也建议我们一个稀疏的表示：仅所有可能单词/概念中的一个小的部分是可被应用到一个特别的输入(一个视觉场景)。
4、深度学习适用场景
深度学习已经在语音识别、图像处理等方面取得了巨大成功。从2013、2014年开始，也在自然语言处理领域出现深度学习的应用浪潮。随着研究的深入，其他领域还在探索中，如自动驾驶等等。
5、深度学习等同人工智能吗？
5.1 强人工智能和弱人工智能
人工智能的一个比较流行的定义，也是该领域较早的定义，是由约翰·麦卡锡（John McCarthy|）在1956年的达特矛斯会议（Dartmouth Conference）上提出的：人工智能就是要让机器的行为看起来就象是人所表现出的智能行为一样。但是这个定义似乎忽略了强人工智能的可能性（见下）。另一个定义指人工智能是人造机器所表现出来的智能性。总体来讲，目前对人工智能的定义大多可划分为四类，即机器“像人一样思考”、“像人一样行动”、“理性地思考”和“理性地行动”。这里“行动”应广义地理解为采取行动，或制定行动的决策，而不是肢体动作。
强人工智能: 强人工智能观点认为有可能制造出真正能推理（Reasoning）和解决问题（Problem_solving）的智能机器，并且，这样的机器能将被认为是有知觉的，有自我意识的。强人工智能可以有两类： 类人的人工智能，即机器的思考和推理就像人的思维一样。 非类人的人工智能，即机器产生了和人完全不一样的知觉和意识，使用和人完全不一样的推理方式。
弱人工智能:弱人工智能观点认为不可能制造出能真正地推理（Reasoning）和解决问题（Problem_solving）的智能机器，这些机器只不过看起来像是智能的，但是并不真正拥有智能，也不会有自主意识。 主流科研集中在弱人工智能上，并且一般认为这一研究领域已经取得可观的成就。强人工智能的研究则处于停滞不前的状态下。
当前深度学习还是其他算法，更多的是弱人工智能，根本就没有思考和推断的能力，深度学习说low一点，本质上做的还是分类。
6、深度学习研究方向
Hinton，Bengio及Lecun三位大神在Nature上发表的Deep Learning综述最后总结了深度学习的三大发展方向：
1）无监督学习。无监督学习在深度学习刚火的那几年有很重要的作用，比如用无监督方式训练深度信念网络还有稀疏自编码器等，使用无监督学习主要是为了预训练，以得到一个较好的初始值，随后再使用有监督训练进行微调。但是随着计算能力的发展，人们发现只要在数据集足够大的情况下使用纯有监督学习也能得到较好性能，所以近几年无监督学习发展不是很大，Hinton他们希望在未来无监督学习能有更大发展，因为人类和动物的学习在很大程度上都是无监督的：我们通过观察这个世界来学习，而不是有个老师在教我们这个世界的原理。
2）深度强化学习。深度强化学习的主要思想简而言之就是将深度学习与强化学习相结合，是一种从感知到动作的端到端学习。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作，中间没有人工特征的工作。深度增强学习具备使机器人实现真正完全自主的学习一种甚至多种技能的潜力。深度强化学习最突出的代表就是DeepMind公司了，该公司在NIPS 2013上发表的Playing Atari with Deep Reinforcement Learning一文，在该文中第一次提出深度强化学习这个名称，之后在Nature上发表了改进版的文章Human-level control through deep reinforcement learning，引起了广泛的关注，深度强化学习从此成为深度学习领域的前沿研究方向。最近的李世石大战阿法狗中，阿法狗背后的技术也是深度强化学习，DeepMind将阿法狗背后用到的技术发表在了2016年的Nature上Mastering the game of Go with deep neural networks and tree search。
3）自然语言理解。自然语言理解也是深度学习在未来几年能大有作为的领域。使用深度学习技术的各种应用比如神经机器翻译，问答系统，文摘生成等都取得了不错的效果，效果的提升主要归功于注意力机制和循环神经网络相结合的强大能力。相信未来几年内还会有大量相关工作出现。
7、参考资料：
（1）百度百科：深度学习：http://baike.baidu.com/link?url=CZeG0Vs3xfF9Bi9b9YrL0Z0hRmcM-ptILY2qTrOo__ROr2Y-Wx93RRCX-iKuPIgSjis0C1_M5Nloz0rKySH0Cq
（2）深度学习与计算机视觉 看这一篇就够了 http://blog.csdn.net/u012507022/article/details/51441629
（3）http://www.zhihu.com/question/23140232/answer/107667482
微信扫一扫
关注该公众号