这本书已经读了好几章,突然觉得有必要在阅读的过程中做一些笔记或记录一些问题什么的,故现在有了此篇文章。
14.循环递归RNN,序列建模套路深
问题:
(1)RNN中的“深度”与传统的深度神经网络里的“深度”有何不同?
答:RNN中的深度主要是指时间和空间(如网络中的隐含层个数)特性上的深度。
(2)RNN为什么会有梯度弥散或梯度爆炸的问题?
(3)梯度弥散问题在一定程度上阻碍了RNN的进一步发展,有什么策略可以在一定程度上抑制这个问题吗?
(4)除了梯度弥散问题,RNN还存在什么问题?如何解决?
(5)你能将RNN预测正弦序列的实现范例用Eager执行模式进行改写吗?