目录
优化
概述
神经元模型
激活函数
层数和参数的计算
优化目标
损失函数 loss
自定义loss
自定义的tf代码
CE（cross entropy）越大，概率分布越远，vice versa。
CE中需要让概率归一化，使用的函数是softmax(),
学习率 learning_rate
learning rate的tensorflow代码
learning rate的大小设置问题
一种动态的learning rate，即指数衰减学习率。
指数衰减学习率的TensorFlow代码
滑动平均 ema
e.g.
tensorflow中描述EMA的语句。
TensorFlow的 EMA 代码
正则化 regularization
regularization 为了解决过拟合的问题，本质就是给权重w 加上权值。
模块module matplotlib
