1. Tensorflow是基于Distbelif进行改进的，Tensor意味着N维数组，Flow意味着基于数据流图的计算，tensorflow为Tensor从流图的一端流动到另一端计算过程。所以也可以把Tensorflow当做将复杂的数据结构传输至人工智能神经网中进行分析和处理的系统。
2. TF Learn是一个模块化和透明的深度学习库，是基于tensorflow之上的。
3. PaddlePaddle是百度开源的深度学习库。
4. Keras是一个高级别的Python神经网络框架。
5. 局部连接不会减少隐藏层的节点数量，减少的是隐藏层和输入层之间的连接数。
6. 本质上隐藏层的一个节点与输入层一个节点的连接，对应的就是一个连接参数，大量的连接也意味着大量的参数需要计算。因此通过参数共享的方法来进一步减少计算量。这种参数共享的机制，也可以理解为针对图像的卷积操作。
7. 卷积处理后的图像的大小和卷积核的大小无关，仅与步长有关，对应的隐藏层的结点个数也仅与步长有关。处理边界的时候会出现数据确实，补全方法有补零，边界复制，镜像，块复制
8. 对不同位置的特征进行聚合统计，这种聚合操作就叫做池化。
10. 卷积层，执行卷积操作提取底层到高层的特征，发掘图片局部关联性质和空间不变性质。
11. 池化层，通过抽取卷积输出特征图中局部区块的最大值或者均值，执行降采样操作。降采样也是图像处理中常见的一种操作，可以过滤掉一些不重要的高频信息。
12. 全连接层，输入层到隐藏层的神经元是全部连接的。
13. 非线性变化，卷积层、全连接层后面一般都会接非线性变化层来增加网络的表达能力，让神经网络具备强大的拟合能力。CNN最常用的是RELU激活函数。
14. Dropout，在模型训练阶段随机让一些隐藏层节点不工作，提高神经网络的泛化能力一定程度上可防止过拟合。