名前付きエンティティ認識（NER）は、セマンティックの理解における重要なトピックです。NERは、自然言語の分野における「ターゲット検出」のようなものです。
ドキュメントDで名詞エンティティを見つけるだけでは不十分です。多くの場合、名詞が場所、人、組織などを表しているかどうかを理解する必要があります。
上の図は、NERが文を出力した後の名詞を示しています。例。
ニューラルネットワークが登場する前は、ほとんどすべてのNERの半監視または非監視の方法は、最高の認識結果を達成するために、手動の単語機能または外部の監視ライブラリ（ガゼッターなど）に依存していました。
：マニュアルワード機能を簡単のような類似の接頭辞、接尾辞、根、抽出することができ
-ance、-ancy手段：行動、自然、状態/距離距離、通貨circulation-
アリ、耳鼻咽喉科手段：人、... /アシスタントアシスタント、優れました優れた
–aryの意味：場所、人、物/図書館、軍隊
は、-antで終わる単語は人を指す可能性が高く、-aryで終わる単語は場所を指す可能性が高いことを知ることができます。
外部監視ライブラリ（gazetteerなど）は、同じタイプのエンティティをライブラリに集約します。これにより、次のような同じ意味を持つエンティティを識別できます。たとえば、
叔母
は実際には叔母と同じ意味です。マイキー叔母は実際にはマイクのニックネームです。すべての名前
今日お話ししたカーネギーメロン大学の論文では、RNNニューラルネットワークテクノロジーを使用して、これらの人工的な機能の使用を回避し、同等の精度を達成できます。
上記のプレフィックス、サフィックス、ルート、およびその他の関連機能を取得するために、この記事では、各単語の文字ごとに双方向LSTMをトレーニングし、双方向LSTMの出力を単語の特別な埋め込みとして使用し、eStackLSTMアルゴリズムを事前トレーニングして名前付きエンティティを認識します。興味は元の論文を読み続けることができます。mbeddingは、最後の単語の埋め込み（最終的な埋め込み）を合成します。
双方向LSTMは、文字のスペルのいくつかのルール（プレフィックス、サフィックス、ルート）をキャプチャでき、事前にトレーニングされた埋め込みは、単語間のグローバルな類似性をキャプチャできます。この2つを組み合わせると、より適切な単語の埋め込み（埋め込み）が得られます。
単語の埋め込み表現では不十分です。NERの問題に対処するには、これらの埋め込みを効果的に使用する必要があります。NERの予測の問題は、一般的な機械学習と大差ありません。トレーニングセット（名前付きエンティティでラベル付けされたドキュメントセット）を指定して、テストセット（名前付きエンティティのないドキュメント）のNER認識率は、モデルの評価に使用されます。
上記の名前のエンティティの認識率を向上させるために、このペーパーでは、評価の2つの側面を組み合わせています。
-
音声部分タグの次の単語（動詞の後の「食べる」など）の可能な音声部分タグのモデリングでは、「食品」（「米」、「麺」など）に類似したエンティティである可能性が高く、「食べる」の後に「場所」が続くことはめったにありません。 "エンティティ）
- コンテキストワードと組み合わされたワード（スピーチの一部をスローする）の場合、そのワードの最も可能性の高い名前付きエンティティ。
上記の2番目のポイントは双方向LSTM（入力は前述の埋め込みワード）でモデル化でき、最初のポイントは条件付きランダムフィールド（CRF）（マルコフチェーンと同様）でモデル化できます。2つのポイントを組み合わせた後のモデルアーキテクチャは次のとおりです
。最下層（単語の埋め込み）は、前述の単語の埋め込みです。
中間層（Bi-LSTM）lは単語の左側のコンテキスト機能を表し、rは単語の右側のコンテキスト機能を表し、cは左側と右側の構成を表します。
最高レベル（CRF）は、ワードタグ間の関係をモデル化して、NERの精度を向上させます。
損失関数で実装され、上記の2つの要素が記事でも使用されます（タグからタグへの転送速度、単語がタグである確率）：
その中で、X =（x1、x2、..。、xn）はシーケンスを表します文、
y =（y1、y2、..。、yn）、これは上記のシーケンスのタグ予測を表します
s（X、y）は、この予測のスコア（スコア）です。
行列Ayiの最初の部分yi + 1は、タグyiが次のタグyi +1に転送される可能性のスコアを表します。
行列Pi、yiの2番目の部分は、i番目の単語がタグyiであると予測される確率です。
最後に、実験データを見てください。
予想どおり、LSTM-CRFが単一文字の埋め込み抽出を使用しない場合、結果はわずかに劣ります。
さらに、LSTM-CRFが発表されたとき、この記事ではスタックスタックLSTMアルゴリズムを使用して、名前付きエンティティを識別しました。興味がある場合は、元の論文を読み続けることができます。
参照：
- 固有表現抽出のためのニューラルアーキテクチャ
- http://eli5.readthedocs.io/en/latest/tutorials/sklearn_crfsuite.html
- https://github.com/glample/tagger
- https://github.com/clab/stack-lstm-ner
- http://www.datacommunitydc.org/blog/2013/04/a-survey-of-stochastic-and-gazetteer-based-approaches-for-named-entity-recognition-part-2
推奨読書：
深層学習モデルにNLPのツリー構造が必要になるのはいつですか？
[深層学習戦闘] pytorchでのRNN入力可変長シーケンスパディングの処理方法
[機械学習の基本理論]最大事後確率推定（MAP）の詳細な理解
欢迎关注公众号学习交流~ 