人工智能、机器学习与深度学习
人工智能发展的重大挑战：如何让计算机掌握这些人类看起来非常直观的常识？
现在人工智能系统更多是应用于特定的环境（specific domain），计算机所要掌握的知识可以很容易被严格并且完整的定义。如何让计算机掌握开放环境下的知识呢？如何定义那些无法明确定义的知识（人类的经验）？
机器学习：如果一个程序可以在任务T上，随着经验E（训练数据）的增加，效果P（准确率）也可以随之增加，则称这个程序可以从经验中学习。（1997，卡内基梅隆大学，Tom Michael Mitchell）
算法的效果除了依赖于训练数据，也依赖与从数据中提取的特征。如何从数据中习得更好的特征表达（好的特征是什么？特征与任务的关联性）
如何从数据中提取特征？同样的数据使用不同的表达方式会极大影响解决问题的难度。一旦解决了数据表达和特征提取，很多人工智能问题就完成可90%。
深度学习解决的核心问题之一就是自动的将简单的特征组合成更加复杂的特征，并使用这些组合特征解决问题。
深度学习除了可以学习特征和任务的关联，还能自动从简单特征中提取更加复杂的特征。
神经科学家发现，人类大脑不同神经中枢的学习机制是相似的。为不同任务设置相似的算法。
深度学习的发展历程
第一阶段
- 1943年，人工神经网络的计算模型提出。
- 1958年，感知机模型。首个可以根据样例数据来学习特征权重的模型。
- 1969年，证明感知机模型只能解决线性可分问题，不能解决异或问题，且当时计算能力受到限制。
第二阶段
- 20世纪80年代，反向传播算法的提出，降低可训练神经网络所需要的时间。
- 1991年，LSTM模型的提出。
- 90年代末，计算资源和数据量问题无法满足训练深层神经网络的需求。
第三阶段
- 云计算、GPU的出现，2012年，深度学习热度指数上升。
