論文リンク：https://arxiv.org/pdf/1301.3781.pdf
参考：
神経確率的言語モデル（2003）紙ポイント https://www.cnblogs.com/yaoyaohust/p/11310774.html
- 線形法線形規則：「王 - 男=女王 - 女」
- 構文とセマンティクス法の構文とセマンティック規則
1986ヒントンら分散表現。
典型的なセッション：
3-50ホイール、10億のレベルのサンプル、スライディング窓幅N = 10、ベクトルの次元D = 50〜200、隠れ層の幅H = 500〜1000、辞書寸法| V | = 10 ^ 6
| V |出力層、すなわち、H *への中間層の複雑さに応じて、
階層的なソフトマックス、ハフマン符号化出力層、計算の複雑さ| V | - >ログイン| V |
隠れ層を削除することを検討してください。
二つの方法CBOWとスキップグラム
より多くのデータについては、より高次元のベクトル：
Googleニュース：60個の李トークン、100個のワン一般的な単語、非常に一般的な単語30000
3回の繰り返し、学習率と時間をかけて0.025崩壊。