深度学习 神经网络优化算法

神经网络优化算法主要用来调整神经网络中的参数，是神经网络模型在训练数据上的损失函数尽可能小，有反向传播算法和梯度下降算法。

梯度下降算法主要用于优化单个参数的取值。

 参数x的更新公式为：

反向传播算法则是采用一个高效的方式在所有参数上使用梯度下降算法。