1.What I cannot create, I do not understand. 理查德费曼。只有创造一个东西，才算真正弄懂了一个问题。
2.计算机系统要素：从零开始构建现代计算机 应该是一本挺有意思的书，300多页，通过展现简单但功能强大的计算机系统之构建过程，为读者呈现了一幅完整、严格的计算机应用科学大图景。本书作者认为，理解计算机工作原理的最好方法就是亲自动手，从零开始构建计算机系统。
3.NumPy的广播功能：如果标量和NumPy数组之间进行计算，则变量会和NumPy数组的各个元素进行计算。
4.神经网络的激活函数必须使用非线性函数，因为使用线性函数的话，加深神经网络的层数就没有意义了，因为无论如何加深层数，总是存在与之等效的“无隐藏层的神经网络”。目前使用广泛的函数是ReLU（Rectified整流，纠正 Linear Unit）函数。输入大于0时，直接输出该值，输入小于0时，输出0。
5.神经网络问题大致可以分为分类问题和回归问题。分类问题是指数据属于哪一个类别，比如区分图像中的人是男性还是女性。回归问题是根据某个输入预测一个（连续的）数值的问题。比如，根据一个人的图像预测这个人的体重就是回归问题（比如57.4Kg这样的预测）。一般来说，回归问题用恒等函数（输出最后一层的值本身），分类问题用softmax函数。
6.Tomorrow the birds will sing. 明天会更好。来自卓别林的经典电影《城市之光》（City Lights）。很好看的黑白默片，你不嫌我失明，我不嫌你落魄。世界要是这么美好就太好了。
7.像学习率这样的参数称为超参数。这是一种和神经网络的参数（权重和偏置）性质不同的参数。相对于神经网络的权重参数是通过训练数据和学习算法自动获得的，学习率这样的超参数则是人工设定的。