正交化
如图所示，右侧开车的例子，如果你用一个控制变量来控制角度，另外一个控制变量来控制速度，那么你可以很容易的开好这个车。如果你有一个控制变量既可以控制角度，也可以控制速度，虽然也可以开好这个车，但相比而言就困难很多了。
正交化意味着这两个控制变量互相垂直，并不彼此干扰。这种设计出来的控制装置是比较好的控制装置。
那么这个和机器学习有什么关系？
如图所示，对于一个监督学习而言。你需要保证如图所示的四件事情。
如果你的算法在成本函数上不能很好地拟合训练，那么你可能需要一个更大的网络或者切换到更好的优化算法，比如说Adam优化算法等。
如果你发现算法对于开发集（dev set）的拟合很差，但是在训练集上拟合的很好，你可以使用正则化或者增加训练集的方式进行调整。增加训练集的好处是他可以帮助你的学习算法更好的归纳开发集的规律。
如果你的系统在开发集（dev set）上做的很好，但是在测试集上做的不是很好。那么可以尝试采用更大的开发集。因为如果在开发集上做的好但是在测试集上做的不好，往往是开发集过拟合了，那么应该往回退一步，采用更大的开发集。
最后，如果在测试集上做的很好，但是实际用户体验做的效果不是很好地话。你需要回去改变开发集(dev set)或者成本函数（cost function）。因为如果根据某个成本函数，系统在测试集上在的很好，但是无法反映你的算法在现实世界中的表现，这意味着要么你的开发集分布设置是不正确的，要么你的成本函数指标是不正确的
另外在训练神经网络的时候，一般不使用early stopping，因为这个用法使用后，对于到底哪里出了问题不太好分析。这个方法会同时影响你对训练集的拟合。（早期停止，对于训练集的拟合就不会很好）同时也可以用来改善开发集（dev set）的表现。它同时影响两件事，没有那么正交化，所以不太建议使用。