word2vec改善負サンプリング

訓練の結果は、より正確であるように、すべてのニューロンは、多くの場合、微調整のトレーニングネットワークにパラメータを持っています。しかし、このネットワークでは、トレーニングパラメータの多くは、データの微調整たびに何百万人は、コンピューティングリソースの無駄です。負サンプリング方法、それによって微調整するために、すべてのパラメータの計算を大量に置き換え、各重みパラメータの小さな部分によって調整することができます。

陰性サンプルの確率が比較的大きいような高および低コーパスC、に現れる辞書単語の数Dは、それらの高頻度語のために、我々はそれが選択されたく、これらの低頻度語のために、我々は、それが選択される確率が比較的小さくしたいですこれは本質的に、問題は、重み付けされたサンプルと考えることができ、私たちの負のサンプリング処理のための一般的な要件です。

CBOWのまず、モデル系負サンプリング

入力：サンプルCBOWワードベクトルの大きさの寸法に基づいて、訓練コーパス $M c o u n t$

出力：語彙の各単語に対応するモデルパラメータ $θ$

1.すべてのランダムモデルパラメータを初期化し $θ$

各学習サンプルについて2 $(c o n t e x t (w_{0}), w_{0})$

前記反復勾配上昇手順、各サンプルのトレーニングセット $(c o n t e x t (w_{0}), w_{0}, w_{1}, . . . w_{n e g})$

$(c o n t e x t (w_{0}), w_{0}, w_{1}, . . . w_{n e g})$

D）それ以外の場合は勾配の収束、勾配の繰り返しの終わりには、反復を継続するステップ3に戻ると。

第二に、スキップ・グラム陰性サンプリングモデルに基づきます

入力：スキップ-グラムのサンプルの寸法に基づいてトレーニングコーパス、ベクトルのワードサイズ $M c o u n t$

出力：語彙の各単語に対応するモデルパラメータ $θ$

1.すべてのランダムなモデルパラメータの初期化 $θ$

各学習サンプルについて2 $(c o n t e x t (w_{0}), w_{0})$

前記反復勾配上昇手順、各サンプルのトレーニングセット $(c o n t e x t (w_{0}), w_{0}, w_{1}, . . . w_{n e g})$

B）それ以外の場合は勾配収束、勾配反復アルゴリズムの端部の端部は、継続的な繰り返しのステップに戻った場合。

参考：

https://www.cnblogs.com/pinard/p/7249903.html

CBOWのまず、モデル系負サンプリング

第二に、スキップ・グラム陰性サンプリングモデルに基づきます

おすすめ