软注意力机制和硬注意力机制，以及seq2seq

软注意力机制就是虽然词语权重不同，但是在训练模型的时候雨露均沾，每个词语都用到，焦点词语的权重大。硬注意力机制是从存储的多个信息中只挑出一条信息来，可能是概率最大的那个词向量,seq2seq是word2vec(词嵌入)的Encoder-Decoder框架******************************************************************************************************************************************
**以RNN作为编码器和解码器的Encoder-Decoder框架也叫做异步的序列到序列模型，而这就是如雷灌耳的Seq2Seq模型！惊不惊喜，意不意外！？
而seq2seq模型，简单来说就是一个翻译模型，把一个语言序列翻译成另一种语言序列，整个处理过程是通过使用深度神经网络( LSTM (长短记忆网络)，或者RNN (递归神经网络)）将一个序列作为输入影射为另外一个输出序列******************************************************************************如下图所示

在神经网络模型处理大量输入信息的过程中，利用注意力机制，可以做到只选择一些关键的的输入信息进行处理，来提高神经网络的效率，比如在机器阅读理解任务中，给定一篇很长的文章，然后就文章的内容进行提问。提出的问题只和段落中一两个句子有关，其余部分都是无关的，那么只需要把相关的片段挑出来让神经网络进行处理，而不需要把所有文章内容都输入到神经网络中。
给定这样一个场景：把输入信息向量X看做是一个信息存储器，现在给定一个查询向量q，用来查找并选择X中的某些信息，那么就需要知道被选择信息的索引位置。采取“软性”选择机制，不是从存储的多个信息中只挑出一条信息来，而是雨露均沾，从所有的信息中都抽取一些，只不过最相关的信息抽取得就多一些。