接上节叙述：9. 深度学习实践：卷积网络
6. 结构化输出
CNN可用于输出高维的结构化对象，不仅仅是预测分类任务的类标签，或者回归任务的实数值。通常该对象是一个张量，由标准卷积层产生。例如，模型可产生张量
这允许模型标记图中的每个像素。对图像逐像素标记的一种策略：先产生图像标签的原始猜测，然后使用相邻像素间的交互来修正原始猜测。一旦每个像素进行了预测，可用各种方法进一步处理，一般想法是假设大片相连的像素倾向于相同标签。
7. 数据类型
CNN使用的数据通常包含多个通道，每个通道是时间上或者空间上，某一点的不同观测量。如图像通常是3通道，对应着某一个像素点在R、G、B三通道上的不同值。
卷积网络的一个优点：可以处理具有可变的空间尺度的输入。可变类型的输入不能用传统的基于矩阵乘法的NN来表示。例如，一组图像集合，每个都具有不同的高度和宽度。固定大小的权重矩阵对其建模还不清楚。
但卷积可直接应用：核依据输入大小被使用不同次，输出也相应的缩放。之前说了，卷积（相乘相加）本质上可被视为特殊的矩阵乘法，相同卷积核为每种大小的输入，引入一个不同大小的双重分块循环矩阵。
当网络的输出允许和输入一样具有可变的大小时，例如为每个像素分配一个标签（图像分割），这时不需要进一步设计工作。当然有时网络必须产生一个固定大小的输出时，例如想为整个图指定一个类标签（图像分类），需要进行额外设计，例如池化层策略。
卷积处理可变尺寸的输入，当且仅当输入是因为包含对同种事物的不同量的观察（时间上不同长度，空间上不同宽度）而导致的尺寸变化才有意义。若输入是因为它可以选择性的包括不同种类的观察而具有可变尺寸，使用卷积不合理。举个例子很容易明白。例如，图像集合中都是3通道，仅仅宽高不同，用卷积合适。若图像集合宽高都相同，有的2通道，有的3通道，这时用卷积不合适。
8. 高效的卷积算法
设计更快的执行卷积或者近似卷积，而不损害模型准确性的方法，是一个活跃研究领域。甚至仅仅提高前向传播效率的技术也很有用。因为商业中通常部署网络比训练网络还耗资源。
9. 随机或无监督的特征
CNN训练中最昂贵的部分是学习特征。输出层的计算代价通常不高。当使用梯度执行监督训练时，每步梯度计算需要完整执行整个网络的前向和反向传播。减少卷积网络成本的一种方式：使用不是由监督方式训练得到的特征。
有三种基本策略，可不通过监督训练而得到卷积核。一种是简单地随机初始化，一种是手动设计，一种是无监督的标准来学习核。卷积深度信念网络，使用了贪心逐层预训练。大约在2007年至13年流行，数据集很小，计算能力有限。而今，GPU等计算能力提高，大多数CNN都是以纯粹监督的方式训练。
10. CNN的神经科学基础
CNN也许是生物学启发AI的最成功的的案例了。1960年代，神经生理学家对猫的观察发现：处于视觉系统较为前面的神经元，对非常特定的光模式（例如精确定向的条纹）反映最强烈，但对其他模式几乎没反应。
从DL的角度来看，其工作可帮助我们专注于简化的大脑功能视图。关注大脑中V1的部分：初级视觉皮层。CNN被设计遵循V1的三个性质：可进行空间映射。包含简单细胞，概括为再一个小的空间上感受野内的图像的线性函数，CNN的探测器单元。包含复杂细胞，如池化单元。
研究表明，大多数V1细胞具有由Gabor函数所描述的权重，其描述在图像中的2维点处的权重，我们可认为图像是2维坐标的函数。
许多ML算法在应用于自然图像时，会学习那些用来检测边缘或边缘特定颜色的特征。这些特征检测器令人联想到V1中的Gabor函数。左图是应用于小图像块的无监督学习算法学得的权重，右图是完全监督的卷积网络的第一层学的卷积核。
11. CNN的历史
CNN（1989，LeCun）是第一个解决重要商业应用的NN，仍然是当今DL商业应用的前沿。20世纪90年代，AT&T开发了一个读取支票的CNN，到90年代末，用于读取美国10%以上的支票。后面，微软部署了若干个基于CNN的OCR和手写识别系统。
当前对DL的商业兴趣的热度，起始于2012年Krizhevsky赢得了ImageNet竞赛。此后风生水起。
CNN是第一批能用BP有效训练的DL网络之一。不完全清楚为什么如此，可能是CNN比全连接网络计算效率更高？
CNN本身提供了这种方法来特化NN，使其能够处理具有清楚的网格结构拓扑的数据，在二维图像拓扑上最为成功。为了处理一维序列数据，接下来将讨论NN框架的另一种强大的特化：RNN。