25、TensorFlow教程--- 创建图表神经网络训练的建议

在本章中,我们将了解可以使用 TensorFlow 框架实现的神经网络训练的各个方面。

以下是可以评估的十个建议 −

反向传播(Back Propagation)
反向传播是计算偏导数的简单方法,包括适用于神经网络的基本组合形式。

随机梯度下降(Stochastic Gradient Descent)
在随机梯度下降中,一个批次(batch)是用户在单次迭代中用来计算梯度的示例的总数。到目前为止,假设批次是整个数据集。最佳示例是在谷歌规模上工作;数据集通常包含数十亿甚至数千亿的示例。

Learning Rate Decay

自适应学习率是梯度下降优化中最重要的特性之一。这对于 TensorFlow 的实现至关重要。

Dropout
具有大量参数的深度神经网络构成了强大的机器学习系统。然而,在这些网络中过拟合是一个严重的问题。

</

猜你喜欢

转载自blog.csdn.net/Knowledgebase/article/details/133460198