Keras学习:RNN及双向RNN

1.RNN：全连接RNN模型

SimpleRNN(Units,activation='tanh',dropout=0.0,recurrent_dropout=0.0, return_sequences=False)

2.LSTN:长短记忆模型

LSTM(units,activation='tanh',dropout=0.0,recurrent_dropout=0.0,return_sequences=False)

• 对于 LSTM，可使用 softsign（而非 softmax）激活函数替代 tanh（更快且更不 容易出现饱和（约 0 梯度））。

3.GRU：门控循环单元

GRU(units,activation='tanh',dropout=0.0,recurrent_dropout=0.0,return_sequences=False)

4.双向RNN

双向RNN包装器

Bidirectional(layer,merge_mode='concat',weights=None)

参数说明：

layer：SimpleRNN、LSTM、GRU等模型结构

merge_mode:前向和后向RNN输出的结合方式，为sum,mul,concat,ave和None之一，若为None，则不结合，以列表形式返回.

BRNN模型

def BRNN():
    model=Sequential()
    model.add(Bidirectional(SimpleRNN(16,return_sequences=True),merge_mode='concat'))
    model.add(Flatten())
    model.add(Dense(1,activation='sigmoid'))
    return model

BRNN模型需要使用wrappers包的Bidirecitional模块实现双向RNN模型，并且要将return_sequences参数设置为True，因为如上文所述需要将前、后向的重要信息拼接起来，所以需要将整个序列返回，而不是只返回最后一个预测词。

DBRNN模型

def DBRNN():
    model=Sequential()
    model.add(Bidirectional(SimpleRNN(16,return_sequences=True),merge_mode='concat'))
    model.add(SimpleRNN(8))
    model.add(Flatten())
    model.add(Dense(1,activation='sigmoid'))
    return model

DBRNN模型的搭建也很方便，比如在这里我们要搭建一个两层的DBRNN模型，只需要再加一层SimpleRNN即可。要注意的是，如果要搭建多层DBRNN模型，除了最后一层SimpleRNN外，其他的SimpleRNN层都需要将return_sequences参数设置为True。

参考文献：https://blog.csdn.net/aizhushou/article/details/107457118