事前学習済みの単語ベクトル
トレーニング データが少ない状況では、事前トレーニングされた単語ベクトルを使用すると、現在解釈可能な、または解釈できない以前の単語情報を単語ベクトルに埋め込むことができます。この事前知識は、下流の単語ベクトル トレーニング タスクに役立ちます。特に、小規模なデータ セットの場合に非常に役立ちます。 。事前トレーニングされた単語ベクトルの選択では、主にコーパスと次元という 2 つの要素が考慮されます。
- コーパスの選択は、トレーニング データのテキスト タイプと一致する必要があります。たとえば、英語は英語の事前トレーニング セットに対応し、中国語は中国語の事前トレーニング セットに対応し、ニュース テキストは事前トレーニング セットに対応することが望ましいです。ニューステキストの。
- 事前トレーニングされた単語ベクトルの次元は、カスタム単語ベクトルの次元と一致している必要があります。
（まずは目的
単語とトレーニング済みの単語間の相関特徴 (文脈言語構造) は、言語構造の一般的な特徴を学習するための不十分なトレーニング データを補うために、類似の文脈特徴に適用されます。
(2) 事前学習済み単語ベクトルを使用する場合と使用しない場合の違い
- 事前トレーニングされた単語ベクトルを使用すると、事前トレーニングされた単語間の関係を持つ意味情報が表現されます。
- ランダムに生成された初期化された単語ベクトルでは、特定のコンテキスト単語の出現を通じてターゲット単語を予測できません。
- つまり、トレーニング データ内の事前トレーニング セットにコンテキスト ワードがあれば、後続のニューラル ネットワーク トレーニング後に正確なターゲットを生成できます。受信した重み値を逆伝播して更新する必要はありません。最適な値を見つけるために最低点への勾配降下を実装するためのパラメーター。(実際、単語ベクトルを事前にトレーニングすると、勾配降下法 <モデルの収束> のプロセスを簡素化できます。個人的な理解です)