关键是反向传播的实现！
如果你手动实现了反向传播算法但是它不起作用，那么有99%的可能是梯度计算中存在Bug。那么就用梯度检测来定位问题。
主要思想是运用梯度的定义：如果我们稍微增加某个权重值，模型的误差将会改变多少。
参考资料：
http://ufldl.stanford.edu/wiki/index.php/Gradient_checking_and_advanced_optimization
NN模型设置--设计新的layer或op
猜你喜欢
转载自blog.csdn.net/wydbyxr/article/details/84784775
今日推荐
周排行