第九章 卷积网络
2020-2-19 深度学习笔记9 - 卷积网络1（卷积运算，动机-稀疏交互、参数共享、等变表示）
2020-2-19 深度学习笔记9 - 卷积网络2（池化，卷积与池化作为一种无限强的先验）
2020-2-20 深度学习笔记9 - 卷积网络3（基本卷积函数的变体，结构化输出，数据类型，高效的卷积算法，随机或无监督的特征）
卷积网络的神经科学基础
神经网络的一些关键设计原则来自于神经科学。
卷积网络的历史始于神经科学实验，远早于相关计算模型的发展。
从深度学习的角度来看，我们可以专注于简化的、草图形式的大脑功能视图。
在这个简化的视图中，我们关注被称为V1的大脑的一部分，也称为初级视觉皮层。 V1是大脑对视觉输入开始执行显著高级处理的第一个区域。
【补充–视神经系统】
↓信号通过神经传递
–》下丘脑区域的外漆体
↓信号通过神经传递
–》到达V1初级视皮层（中央处理器）
↓信号通过神经传递
–》V2区域（中级视觉皮层）：具有与V1区域类似的基本原理，进一步抽象得到轮廓和形状特征信息（神经细胞具有更大的感受野）
↓信号通过神经传递
–》V4区域：具有与V1区域类似的基本原理
↓信号通过神经传递
–》T区域（更高级视区）
通常所说的视皮层主要包括五个区域（视觉第一、第二、第三、第四、第五区域等，即V1、V2、V3、V4、V5）或六个区域，整个的皮层信息处理过程由两条并行的通路完成：V1、V2、V4 等组成的腹侧通路主要处理物体形状、颜色等信息；V1、V2、V5 等组成的背侧通路主要负责对运动等信息的感知。
卷积网络层被设计为描述V1的三个性质：
- V1可以进行空间映射。
- V1包含许多简单细胞。
- V1还包括许多复杂细胞。
神经科学和机器学习之间最显著的对应关系，是从视觉上比较机器学习模型学得的特征与使用V1得到的特征。
卷积网络与深度学习的历史
卷积网络在深度学习的历史中发挥了重要作用。
- 它们是将研究大脑获得的深刻理解成功用于机器学习应用的关键例子
- 它们也是首批表现良好的深度模型之一
- 卷积网络也是第一个解决重要商业应用的神经网络
- NEC部署的系统已经被用于读取美国10％以上的支票
- 微软部署了若干个基于卷积网络的OCR和手写识别系统
- 卷积网络是第一批能使用反向传播有效训练的深度网络之一
卷积网络提供了一种方法来特化神经网络，使其能够处理具有清楚的网格结构拓扑的数据，以及将这样的模型扩展到非常大的规模。 这种方法在二维图像拓扑上是最成功的
