陷入不归路的调试
在线性回归中，我们使用了如下的代价函数来评估预测误差：
想要降低预测误差，即提高预测精度，我们往往会采用这些手段：
| 手段 | 评价 |
|---|---|
| 采集更多的样本 | 我们认为见多识广会让人变得聪明，但是也会让人变得优柔寡断，或者聪明反被聪明误。 |
| 降低特征维度 | 也许被降掉的维度会是非常有用的知识。 |
| 采集更多的特征 | 增加了计算负担，也可能导致过拟合。 |
| 进行高次多项式回归 | 可能造成过拟合。 |
| 调试正规化参数 λλ | 这个调节策略缺乏指导，只能是猜测性调节。 |
可以看到，这些手段不总是那么美好，而且每个手段的尝试都会花费我们大量时间去调代码，跑测试，也许还出力不讨好。