linear classifier是神经网络的基础
Image Captioning 可以使用卷积神经网络（关注图像）+循环神经网络（关注文本）的乐高积木组合。
k近邻中没有参数，而线性分类是参数模型中最简单的之一。
在多分类问题中，最后一层的b的大小代表了分类器将物体分类为这一类的意愿。权重矩阵的每一行是一个类的模板，这个模板是分类器对所有这一类的训练数据集取平均得到的，线性模型对于一类物体只能学习一个模板，但是深度学习则不再受限制，因此表现更好。
这个模板与数据向量的内积（相似度）衡量了数据是这一类物体的可能性。
权重矩阵的每一行，即模板，与图形数据形状一致，可以还原为图片。如下图，cifar10数据集分类
k近邻和线性分类器降解比较简单，需要认真复习，好好做作业。