目录
一、概要
英文原文链接：https://pan.baidu.com/s/1FwqOzn7kdDAiYpOHACQzEQ 密码：sjsa
英文论文名称：《An efficient framework for learning sentence representations》
本文主要提出了一种新的方法来实现sentence2vec，实际上则是对skip thoughts的一种改进。从效果上来看，它训练得到的句向量在测试方面表现得也比较优异。而且他的另一个特点则是训练快，这是它非常具有吸引力的一个地方。
如果不了解skip thoughts，请去了解……
二、原理
Quick thoughts的原理实际上非常简单，就是将skip thoughts的预测行为修改成了分类问题。
（1）skip thoughts的原理简介（真的只是简介）
Skip thoughts采用的是encoder-decoder模型。所谓的coder，其实就是一个循环神经网络，无论采用lstm还是gru的方式。输入的是一个句子，经过encoder编码后，得到一个输出，这个输出作为decoder的输入，decoder的输出就是我们最终得到的东西。所以skip thoughts是用一个句子去预测另一个句子的模型。
（2）Quick thoughts模型
区别于skip thoughts的预测句子模型，quick thoughts在skip thoughts的模型基础上，略加修改，使得预测行为变成了分类行为。图解如下：
如上图所示，输入的是一系列句子的编码（或者叫句子的向量形式）。
1、f,g是带参数（需要训练）的函数，它们的作用是将句子变为定长的向量。（常用的包括RNN、LSTM等）
2、s表示一个句子
3、表示出现s周围的句子的集合（即s的上下文，context）
4、应该（据我的理解）是
的子集，其中包含一个有效的上下文句子和许多无效的非上下文句子。模型的用处就是对这个集合进行分类。这部分的英文原文我贴出来：
模型的目标函数：
对于一个给定的句子s，一个是s的上下文的概率（上述4中有效的上下文句子）为：
我们的训练目标则是最大化如下概率（D为训练集，就是让有效上下文的概率最大化）：
其中函数c表示两个向量的内积（或许还有其他定义函数c的方法）。f和g通常用RNN。最后句子s的向量用f(s)和g(s)的拼接来表示。