RNN语言模型和序列生成

1. 语言模型告诉你特定句子出现的概率是多少。
2. 为了建立一个好的RNN模型，需要包括很大语料库的训练集。
3. 将每个单词都转成one-hot向量，包括结尾标记和标点符号、未见单词，作为输入。
4. 第一个时间步的输入是零向量，做一个sorftmax，输出字典里所有单词的概率。以后每一步的输入为一个单词one-hot，输出下一个单词的概率。对所有输出交叉熵求和，再反向传播。
5. 将输出相乘得到整个句子的概率。