一、损失函数
神经元模型：用数学公式表示为：
，f为激活函数，神经网络是以神经元为基本单元构成的。
激活函数：引入非线性激活因素，提高模型的表达力
常用的激活函数有relu、sigmoid、tanh等。
神经网络的复杂度：可用神经网络的层数和神经网络中待优化的参数个数来表示
神经网络的层数：一般不计入输入层，层数= n 个隐藏层 + 1 个输出层
神经网络待优化参数：神经网络中所有参数 w 的个数 + 所有参数 b 的个数
损失函数（loss）：用来表示预测值（y）与已知答案（y_）的差距。在训练神经网络时，通过不断改变神经网络中的所有参数，使损失函数不断减小，从而训练出更高准确率的神经网络模型。
常用的损失函数有均方误差、自定义和交叉熵等
由代码及其结果可以看出，本例中神经网络预测模型为 y = w1*x1 + w2*x2，损失函数采用均方误差。通过损失函数值（loss）不断降低，神经网络模型得到最终参数 w1 = 0.98, w2 = 1.02，销量预测结果为 y = 0.98*x1 + 1.02*x2。由于在生成数据集时，标准答案为y = x1 + x2，因此销量预测结果和标准答案非常接近，说明该神经网络预测酸奶日销量正常。
自定义损失函数：根据问题的实际情况，定制合理的损失函数。
这段代码只是在上段代码中间改动了损失函数的定义方法，得出来的最终参数为 w1=1.02，w2=1.04，销量预测结果为 y=1.02*x1+1.04*x2。由此可见，采用自定义损失函数预测的结果大于采用均方误差预测的结果，更符合实际需求。如果酸奶成本是9元，利润是1元，则预测出来的结果小于均小于1。
交叉熵（Cross Entropy）：表示两个概率分布之间的距离。交叉熵越大，两个概率分布距离越近，两个概率分布越相异；交叉熵越小，两个概率分布距离越近，两个概率分布越相似。
交叉熵结算公式：
用 Tensorflow 函数表示为
ce = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y, 1e-12, 1.0)))softmax 函数：将n分类的n个输出（y1, y2, .....yn）变为满足一下概率分布的要求。
softmax函数表示为：
softmax函数的应用：在n分类中，模型会有n个输出，其中yi表示第 i 种情况出现的可能性大小。将n个输出经过softmax函数，可得到符合概率分布的分类结果。
在Tensorflow中，一般让模型的输出经过 softmax 函数，以获得输出分类的概率分布，再与标准答案对比，求出交叉熵，得到损失函数，用如下函数实现：
ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))
cem = tf.reduce_mean(ce)二、学习率
学习率 learning_rate: 表示了每次参数更新的幅度大小。学习率过大，会导致待优化的参数在最小值附近波动，不收敛；学习率过小，会导致待优化的参数收敛缓慢。
在训练过程中，参数的更新向着损失函数梯度下降的方向。
参数更新公式为：
作出损失函数的函数图像
由图可知，损失函数loss的最小值会在（-1，0）处得到，此时损失函数的导数为0，得到最终参数 w = -1。代码如下：
结果表明，随之损失函数loss的减小，w 无限趋近 -1 ,模型推测出来的的最优参数为 -1。
指数衰减学习率：学习率随着训练轮数变化而动态变化
学习率计算公式：
Learning_rate = LEARNING_RATE_BASE*LEARNING_RATE_DECAY*global_step/LEARNING_RATE_BATCH_SIZE
用Tensorflow 的函数表示为：
global_step = tf.Variable(0, trainable = False)
learning_rate = tf.train.exponential_decay(
LEARNING_RATE_BASE,
global_step,
LEARNING_RATE_STEP,LEARNING_RATE_DECAY,
staircase = True/False)其中，LEARNING_RATE_BASE 为学习率初始值，LEARNING_RATE_DECAY 为学习率衰减率，global_step 记录了当前训练轮数，为不可训练型参数。学习率 learning_rate 更新频率为输入数据集总样本数除以每次喂入样本数。若 staircase 设置为True 时，表示 global_step/learning_rate_step 取整，学习率阶梯型衰减；若 staircase 设置为 False 时，学习率会是一条平滑下降的曲线。
例如，在本例中，模型训练过程不设定固定的学习率，使用指数衰减学习率进行训练。其中学习率初值设置为 0.1，学习率衰减率设置为 0.99，BATCH_SIZE 设置为 1。
代码如下：
由这个结果可以看出，随着训练轮数增加学习率在不断减小。
三、滑动平均
滑动平均：记录了一段时间内模型中所有参数 w 和 b 各自的平均值。利用滑动平均值可以增强模型的泛化能力。
滑动平均值（影子）公式：
影子 = 衰减率 * 影子 + （1 - 衰减率）* 参数
用Tensorflow 函数表示为：
ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)其中，MOVING_AVERAGE_DECAY 表示滑动平均衰减率，一般会赋接近 1 的值，global_step 表示当前训练了多少轮。
ema_op = ema.apply(tf.trainable_variables())其中，ema.apply() 函数实现对括号内参数求滑动平均，tf.trainable_variables() 函数实现把所有待训练参数汇总为列表。
with tf.control_dependencies([train_step, ema_op]):
train_op = tf.no_op(name = 'train')其中，该函数实现将滑动平均和训练过程同步运行。
查看模型中参数的平均值，可以用 ema.average() 函数。
由运行结果来看，最初参数 w1 和滑动平均值都是 0；参数 w1 设定为 1 后，滑动平均值变为 0.9；当迭代轮数更新为 100 轮时，参数 w1 更新为 10 后，滑动平均值变为 1.644。随后每执行一次，参数 w1 的滑动平均值都向参数 w1 靠近。可见滑动平均追随参数的变化而变化。
四、正则化
过拟合：神经网络模型在训练数据集上的准确率较高，在新的数据进行预测或分类时准确率较低，说明模型的泛化能力差。
正则化：在损失函数中给每个参数 w 加上权重，引入模型复杂度指标，从而抑制模型噪声，减小过拟合。
使用正则化后，损失函数loss变为了两项之和：
其中第一项是预测结果与标准答案之间的差距，如之前讲过的交叉熵、均方误差等；第二项是正则化计算结果。
代码如下：
得到的结果：
首先，数据集实现可视化，在图像描出所有的点。
然后，用无正则化的训练过程，把红色和蓝色点分开。
最后，用执行正则化的训练过程，把红色和蓝色点分开。
对比图中，明显可以看出，有正则化模型的拟合曲线平滑，模型具有更好的泛化能力。
五、搭建模块化神经网络八股
上一节提到的例子，用模块化的编程方法来实现：
generateds.py
函数 generateds() 表示生成 300 组随机点，分为红色和蓝色。
forward.py
前向传播：有输入到输出，搭建完整的网络结构
描述前向传播的过程需要定义三个函数：
第一个函数 forward() 完成网络结构的设计，从输入到输出搭建完整的网络结构，实现前向传播过程。参数 x 为输入，regularizer 为正则化权重，返回值为预测或分类结果 y。
第二个函数 get_weight() 对参数 w 设定。该函数中，参数 shape 表示参数 w 的形状，regularizer 表示正则化权重，返回值为参数 w。其中，tf.Variable() 给 w 赋初值，tf.add_to_collection()表示将参数 w 正则化损失加到总损失 losses 中。
第三个函数 get_bias() 对参数 b 进行设定。该函数中，参数 shape 表示参数 b 的形状，返回值为参数 b。其中，tf.Variable() 表示给 b 赋初值。
backward.py
反向传播：训练网络，优化网络参数，提高模型准确性。
函数 backward() 中，placeholder() 实现对数据集 x 和标准答案 y_ 占位，forward.forward() 实现前向传播的网络结构，参数 global——step 表示训练轮数，设置为不可训练参数。
判断 python 运行文件是否为主文件
if __name__ == '__main__':
backward()