LSTM网络的每个“门”定义如下:
(输入值)
(输入门)
(遗忘门)
(输出门)
(新状态)
(输出)
通过代码说明LSTM单元的结构:
#LSTM结构的简单实现 #使用BasicLSTMCell()定义LSTM单元 lstm = tf.nn.rnn_cell.BasicLSTMCell(lstm_hidden_size) #初始化LSTM单元使用zero_state函数 #state是一个包含两个张量的LSTMStateTuple了哦,state.c和state.h分别对应c状态和h状态 state = lstm.zero_state(batch_size,tf.float32) #定义损失函数 loss = 0.0 for i in range(num_steps): #在第一个时刻声明LSTM结构中使用的变量,在之后的时刻都需要复用之前定义好的变量 if i>0 :tf.get_variable_scope().reuse_variable() #current_input:当前输入 #state:前一时刻的状态,包含(h_t-1)和(c_t-1) #lstm_output:当前时刻的输出(h_t),用于输出给其它层 lstm_output,state = lstm(current_input,state) #将当前时刻LSTM结构的输出传入一个全连接层得到最后的输出 final_output = fully_connected(lstm_output) #计算当前时刻输出的损失 loss += calc_loss(final_output,expected_output)
扫描二维码关注公众号,回复:
1451648 查看本文章