ショートテキストマッチング＆自然言語推論モデル--ESIM
論文リンク：http://tongtianta.site/paper/11096
まず、原則
ESIMは、「自然言語推論の強化LSTM」と呼ばれます。名前が示すように、特別に設計されたLSTMはそこから自然言語推論を強化します。それはLSTMを強化することがいかにに関しては、あったように、慎重に私に耳を傾けます。
非常に複雑なネットワークの使用前のトップモデルとは異なり
アーキテクチャを、我々は最初に慎重に、順次推論設計することを証明している
チェーンLSTMsに基づくモデルは、以前のすべてのモデルをアウトパフォームすることができます。
これに基づき、我々はさらに、明示的に再帰考慮していることを示し
推論モデリングと推論組成の両方のローカルでのアーキテクチャを、
我々は追加の改善を達成します。
ESIM紙要約、結論から上の段落の抜粋、ESIMすることができます短いテキスト分類アルゴリズムの高速ハードウェアよりも、主に二つのこと他：
- 慎重な設計型配列構造を推定しました。
- ローカルおよびグローバルな推論の推論を考えてみましょう。
主な注意で、さらにグローバルな推論を達成するために、地元の推論を達成するために、文の間メカニズム（センテンス内の注意）です
1コーディングモデル入力層
何も言うことは、二つの単語がの埋込み+ BiLSTM接続されている入力することではありません
2 local inference modeling（局部推理建模）
local inference 之前需要将两句话进行 alignment，这里是使用 soft_align_attention。
怎么做呢，首先计算两个句子 word 之间的相似度，得到2维的相似度矩阵，
然后才进行两句话的 local inference。用之前得到的相似度矩阵，结合 a，b 两句话，互相生成彼此相似性加权后的句子，维度保持不变。
在 local inference 之后，进行 Enhancement of local inference information。这里的 enhancement 就是计算 a 和 align 之后的 a 的差和点积， 体现了一种差异性吧，更利用后面的学习.
3 inference composition
最后一步了，比较简单。
再一次用 BiLSTM 提前上下文信息，同时使用 MaxPooling 和 AvgPooling 进行池化操作, 最后接一个全连接层。这里倒是比较传统。没啥可说的。