p9
学习算法自身的 归纳偏好 与问题是否相配，往往会起到决定性作用。
1.5发展历程
人工智能的研究进程：
推理期->知识期->学习期
“从样例中学习”（也即是广义的归纳学习），它涵盖了监督学习、无监督学习等，本书大部分内容均属于此范畴。
从样例中学习，从基于逻辑的符号学习->基于神经网络的连接主义学习->“统计学习”方法，代表技术是支持向量机（SVM）->联结主义学习（很多层的神经网络，深度学习）
深度学习为什么此时火起来呢？有两个基本原因：数据打了、计算能力抢了。深度学习模型拥有大量参数，若数据样本少，则很容易“过拟合”；如此复杂的模型、如此大的数据样本，若缺乏强力计算设备，根本无法求解。恰由于人类进入了“大数据时代”，数据储量与计算设备都有了发展， 才使得连接主义学习技术焕发又一春。
（BP算法是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。）