第1章
1.4归纳偏好
学习算法自身的归纳偏好与问题是否相配，往往会起到决定作用。
对于上面这句话：你的输入数据被怎么处理，最终得到什么结果，我认为偏好指的就是这个处理的过程。线性非线性？那些feature忽略掉？怎么利用这些数据？更具体一些，你用网络处理，还是传统方法，数据的分布和你的处理方法相符吗？
没有免费的午餐定理
也可以说是没有放之四海皆准的算法。针对不同的问题要有不同的模型与参数。比如人脸识别就得用metric learning，你用svm那根本没法给标签。
以及这两句是一个意思。。。
第2章
2.1经验误差与过拟合
训练误差training error empirical error，训练数据的error，泛化误差，generalization error。
一般都用 training error做参数训练，模型建立，根据训练数据的error而优化模型。而test error 就是我们用来评判模型好坏的标准了。
over fitting underfitting
overfitting把training 样本的特点当作该类的特点，会把本来是本类的分为其他。underfitting特点提取的不够，会把其他有本类一些特点的物品认为是本类。