1.神经网络会将数据转化为更适合解决目标问题的形式，我们把这种过程叫做特征学习。
2.AdaGrad使用的是一阶差分，具体参考：https://blog.csdn.net/joshuaxx316/article/details/52062291
3.对于非连续目标在深度神经网络的优化过程中，拉格朗日松弛梯度下降法是最好的。
4.在dropout的过程中，神经元被失活，在dropconnect的过程中，失活的是神经元之间的连接。所以dropout会使输入和输出权重都变为无效，而在dropconnect中，只有其中一种会被失活。
5.在CNN中使用1x1卷积时，可以帮助降低维数；可以用于特征池；由于小的内核，它可以减少过拟合。1x1卷积在CNN中被称为bottleneck structure。
6.当在内存网络中获得某个内存空间时，通常选择读取矢量形式数据而不是标量，这里需要基于内容的寻址来完成。
7.一个循环神经网络可以被展开成为一个完全连接的、具有无线长度的普通神经网络。
8.随着句子的长度越来越多，神经翻译机器将句意表征为固定维度向量的过程将愈加困难，为了解决这类问题，我们可以使用注意力机制。