1：单一实数评判：比如采用F1Score来代替Precision跟Recall。
2.一个优化指标 subject to 多个优化条件
3.设置dev and test set 最好遵循同一分布。
4.1有时候 error 可能很低，但是error的种类是完全不能接受时，我们需要改变error的计算方式。（修改设定目标）
4.2 又比如训练集跟开发集上准确率很高，但是test集上表现很差。此时可能需要修改指标或者开发与测试集合。
如下例，train 跟 test 的分布完全不同。
5. 可避免偏差（training error 跟 贝叶斯error），方差（training error 跟 dev error）。
6. bayes error 的理解
7.优化方法
