BiGRU-Attention 模型训练方法
本文 BiGRU-Attention 模型以 IMDB 数据集、预设参数和 迭代次数 N 为输入，经过文本向量化输入层把 IMDB 数据集处理词向量的形式，利用 BiGRU-Attention 模型对 IMDB 数据集进行分类。 算法 BiGRU-Attention 神经网络的文本情感分类算法 输入: IMDB 数据集、预设参数、迭代次数 N。 输出: IMDB 数据集的情感分类。 在文本向量化输入层对数据进行清洗、划分为固定长度、随机初始化、 划分训练集和测试集、转化成对应词向量。 IMDB 数据集对应的词向量的形式，设文本中某个词对应的词向量为 xt 。 对 IMDB 每一条电影评论的处理：
使用 softmax 函数计算分类的结果概率
并 与原始的标签 进行对比，本文的目标函数为
从式(14)可知，通过上述的训练步骤，对从 1 到 h 个单词 分别进行特征提取，分配相应权重累加求和,Dense 层进一步提 取特征，最后在 softmax 输出层进行分类，然后对所分类的各 个影评标签值和 
相乘的累加和，累加和为负值，取相反， 使损失最小，计算误差，使用 rmsprop 作为训练器，使模型训练和收敛的更快，在沿随时间反向误差传播过程中根据误差不断调整并更新权重和偏置，直到达到迭代次数或小于某一个固定的精度为止。
Rmsprop：权值更新算法：