读书笔记 - 《深度学习之美》

这本书已经读了好几章,突然觉得有必要在阅读的过程中做一些笔记或记录一些问题什么的,故现在有了此篇文章。

14.循环递归RNN,序列建模套路深

问题:

(1)RNN中的“深度”与传统的深度神经网络里的“深度”有何不同?

答:RNN中的深度主要是指时间和空间(如网络中的隐含层个数)特性上的深度。

(2)RNN为什么会有梯度弥散或梯度爆炸的问题?

(3)梯度弥散问题在一定程度上阻碍了RNN的进一步发展,有什么策略可以在一定程度上抑制这个问题吗?

(4)除了梯度弥散问题,RNN还存在什么问题?如何解决?

(5)你能将RNN预测正弦序列的实现范例用Eager执行模式进行改写吗?

猜你喜欢

转载自www.cnblogs.com/carsonzhu/p/10902309.html