机器学习问题可能包含成百上千的特征。特征数量过多，不仅使得训练很耗时，而且难以找到解决方案。这一问题被称为维数灾难（curse of dimensionality）。为简化问题，加速训练，就需要降维了。
降维会丢失一些信息（比如将图片压缩成jpeg格式会降低质量），所以尽管会提速，但可能使模型稍微变差。因此首先要使用原始数据进行训练。如果速度实在太慢，再考虑降维。
8.1 维数灾难（The Curse of Dimensionality）
我们生活在三维空间，连四维空间都无法直观理解，更别说更高维空间了（wiki有关四维空间的介绍，以及油管上的一个视频，将四维空间展开为三维空间）。高维空间和低维空间相比，还是用很大区别的。比如一个单位正方形，只有大概0.4%的部分是距离边界0.001以内的（这部分边缘的面积大概是$0.001 \times 1 \times 4 = 0.004$，占总体面积的0.4%）。但是在一个一万维的单位超立方体中，这一概率却变成了99.999999%，绝大多数点都在距离某一维度很近的地方。一个有趣的事实是，人类有许多不同的属性，你认识的所有人都可能是某一特征的极端分子（比如咖啡里的放糖量）。
还有一个更麻烦的区别：如果在单位正方形中任意选取两点，其距离平均大概是0.52。在单位立方体中这一距离是0.66。而在1000000维单位超立方体中，这一距离就增大到了408.25（大概$\sqrt{1000000/6}$）。这说明高维数据集很可能是相当稀疏的，样本实例间距离很大，预测是新的样本距离训练集样本的距离也很大，预测可信度远低于地位数据集。简单来说，高维数据集很容易过拟合。
理论上，维数灾难的一个解决方案是增加样本数量，从而使训练集达到足够的密度。可是这在实践中并不可行，因为计算复杂度是指数级的。