2016年3月，阿尔法围棋与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜. 深度学习开始进行大众的视野中. 深度学习其实是机器学习的一个分支,我们今天来看看机器学习是什么. 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径.
机器学习的发展
机器学习（Machine Learning）的各个阶段发展历程列表如下。
| 时间段 | 机器学习理论 | 代表性成果 |
| 二十世纪五十年代初 | 人工智能研究处于推理期 | A. Newell和H. Simon的“逻辑理论家”（Logic Theorist）程序证明了数学原理，以及此后的“通用问题求解”（General Problem Solving）程序。 |
| 已出现机器学习的相关研究 | 1952年，阿瑟·萨缪尔（Arthur Samuel）在IBM公司研制了一个西洋跳棋程序，这是人工智能下棋问题的由来。 | |
| 二十世纪五十年代中后期 | 开始出现基于神经网络的“连接主义”（Connectionism）学习 | F. Rosenblatt提出了感知机（Perceptron），但该感知机只能处理线性分类问题，处理不了“异或”逻辑。还有B. Widrow提出的Adaline。 |
| 二十世纪六七十年代 | 基于逻辑表示的“符号主义”（Symbolism）学习技术蓬勃发展 | P. Winston的结构学习系统，R. S. Michalski的基于逻辑的归纳学习系统，以及E. B. Hunt的概念学习系统。 |
| 以决策理论为基础的学习技术 | ||
| 强化学习技术 | N. J. Nilson的“学习机器”。 | |
| 统计学习理论的一些奠基性成果 | 支持向量，VC维，结构风险最小化原则。 | |
| 二十世纪八十年代至九十年代中期 | 机械学习（死记硬背式学习） 示教学习（从指令中学习） 类比学习（通过观察和发现学习） 归纳学习（从样例中学习） |
学习方式分类 |
| 从样例中学习的主流技术之一：（1）符号主义学习 （2）基于逻辑的学习 |
（1）决策树（decision tree）。 （2）归纳逻辑程序设计（Inductive Logic Programming, ILP）具有很强的知识表示能力，可以较容易地表达出复杂的数据关系，但会导致学习过程面临的假设空间太大，复杂度极高，因此，问题规模稍大就难以有效地进行学习。 |
|
| 从样例中学习的主流技术之二：基于神经网络的连接主义学习 | 1983年，J. J. Hopfield利用神经网络求解“流动推销员问题”这个NP难题。1986年，D. E. Rumelhart等人重新发明了BP算法，BP算法一直是被应用得最广泛的机器学习算法之一。 | |
| 二十世纪八十年代是机器学习成为一个独立的学科领域，各种机器学习技术百花初绽的时期 | 连接主义学习的最大局限是“试错性”，学习过程涉及大量参数，而参数的设置缺乏理论指导，主要靠手工“调参”，参数调节失之毫厘，学习结果可能谬以千里。 | |
| 二十世纪九十年代中期 | 统计学习（Statistical Learning） | 支持向量机（Support Vector Machine，SVM），核方法（Kernel Methods）。 |
| 二十一世纪初至今 | 深度学习（Deep Learning） | 深度学习兴起的原因有二：数据量大，机器计算能力强。 |
