1. 在什么空间下解决分类问题？
可以通过一些传统的方法，提取图像的特征，然后在新的特征空间下，进行分类的任务。
1. color histogram，不考虑spatial信息
2. hog，histogram of orient gradient，考虑spatial 
3. bag of visual words
可以设计并集合各种各样的特征
2. 机器学习的图像分类任务pipeline：
设计特征提取器，并提取特征
特征压缩处理
线性的SVM机器学习
问题：
特征提取，比较复杂，需要经验。
只有后续的线性分类器可以训练，没有充分利用数据。
如下是早期机器学习和当前end to end的深度学习的对比，
3. 神经网络
mlp/全连接
很多层的mlp
新增激活函数
线性层的叠加，还是线性的，表达的空间还是线性不够丰富。
relu,sigmoid, tanh,silu etc
带着激活层的深度网络，可以模拟各种各样的函数。