语言模型、RNN梯度消失/爆炸、RNN网络变种

1.语言模型
语言模型(LM)是一个系统,用于预测下一个可能出现的单词。更正式的解释是:给定T个单词序列,根据这T个单词来计算出第T+1个单词的概率分布,从而选出最可能出现的单词。
经典的语言模型有N-gram语言模型、NN语言模型、RNN语言模型。
语言模型
语言模型
语言模型知乎专栏
CS224N第六课学习笔记
1.1 N-gram语言模型
N-gram语言模型是统计语言模型,根据前n-1个单词来预测第n个单词。
常见的有Bi-Gram(N=2)、Tri-Gram(N=3)。
N-gram语言模型
一文详解N-gram语言模型
N-gram模型介绍-方法、预测、评估
N-gram语言模型详细介绍
1.2 NN语言模型
神经网络语言模型

2 RNN梯度消失/爆炸、RNN变种
CS224N第七课
2.1 梯度消失/爆炸
RNN梯度消失/爆炸的原因
深度学习中梯度消失/爆炸的原因及其解决方法
机器学习中的梯度消失/爆炸及其解决方法
2.2 RNN及其变种(LSTM、GRU)
RNN、LSTM、GRU详解
含有网络运行动图解释的RNN、LSTM、GRU
LSTM为什么能够消除RNN梯度消失
GRU详解

猜你喜欢

转载自blog.csdn.net/qq_40377498/article/details/105143359
今日推荐