版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_31456593/article/details/88880523
读论文《Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions》
文章主要介绍了使用递归自编码器做句子情感分类的方法。和之前的方法相比，本文的算法没有使用任何预设定的情感词汇和极性转换规则。并在movie reviews数据集上取得了SOTA的效果。
当时主流的方法还是词袋模型，但词袋模型无法很好的句法信息，而一些改进则利用的是一些手工特征（如：情感词，解析树，极性转换规则）
本论文的创新：
- 使用层次结构和成分语义信息
- 可以使用无标签数据，也可以监督学习，且不需要手工特征
- 没有把情绪限制在积极/消极， 而把情绪映射到一个复杂的相互关联的分布
文章介绍了一个使用半监督学习的递归自编码器，它以词嵌入为输入，使用层次的结构从非监督文本中学习词汇和句子表示，并使用层次结构中的节点来预测情感标签的分布。
父节点表示：
这样就可递归获取句子的语义表示。
同时，我把父节点解码为原词语表示，以达到自编码器无监督训练的效果。
作者使用重构词和原词的分布的欧式距离作为重构误差。
Greedy Unsupervised RAE：
每一次，都会便利当前的所有节点，并把重构误差最小的那两个合并，用合并的父节点代替这两个节点，然后重复操作。
Weighted Reconstruction：
为了让拥有更多子节点的点拥有更多的权重，作者对重构误差进行了调整。（n为子节点个数）
Length Normalization：
为避免通过过度降低隐藏重构误差的方法来使总体重构误差更小，作者使用了长度归一化
最后使用句子节点经过softmax进行分类
整体损失函数如下
