word2vevモデルgensimライブラリは、主にCBOW（ハフマン）とスキップ-gramモデルを使用しました。コンテキストに基づいてCBOWが目標単語を予測することを示し、入力ワードは2Cコンテキスト（Cウィンドウサイズを示す）であり、出力が目標単語の確率であり、スキップグラムは逆で、入力電流のターゲット単語である、出力ワードは、コンテキストであります確率。
入力と出力を決定した後、実際には、トレーニング方法が明らかになり、最後の入力層、中間層の出力確率後（例えばCBOWため）、すべての単語、及びバックプロパゲーション勾配降下の減少損失をソフトマックス。しかし、この1は大きな問題があります。計算ソフトマックスの確率はすべての単語は、その後、確率の最大値を探すために隠された層から、計算ソフトマックス大量の出力を層に。このような性能は明らかに埋め込む操作のために話していると、ハフマン木word2vecを導入するために、この論文をもとに、非常に洗練された最適化を行うためにここので、word2vec価値ろうそく、です。
各リーフノードは、ターゲットワードを表し、各ワードは、ターゲットパスを持つコードルールを表し、成果ハフマン木のルールを知ることは困難ではありません。word2vecでは、我々は、ロジスティック回帰法を使用し、規定がその正のクラス（木0ハフマン符号化）、右部分木に沿って歩く、（ハフマン木が1をコードする）、その負のカテゴリで、左部分木に沿って歩きます。方法は、正と負のクラスのカテゴリはのために、シグモイド関数を使用することであるとを区別するN1-N2-N3-N4、ニューラルネットワークの学習目標は最高のこのパスを歩くの可能性を作ることで、私たちが最初にここに与えることができるという点で、このパス尤度関数：
尤度関数は、実際にシグモイド直角のすべてのステップである、と私たちの目標は、最大確率にすることです最尤の方法によって機能を最適化します。その一般的なプロセスを与えるために、我々は最初のいくつかの定義を行います。
この場合、次のように説明しますSTR =「私は世界のサッカーを見るのが好き」を、対象単語Wは、適切な重みを得るために、確率関数を最適化するために、サッカーです。
CBOWモデルのワークフローの例では、
我々は今コーパスこれだけシンプルな4本のワード文書であると仮定します。私たちの「I」の言葉によると、私たちは中央の単語、2に設定されているウィンドウサイズとしてコーヒーを選んだ{私はコーヒーを毎日飲みます} 、「ドリンク」と言葉を予測するための「日常」、そして私たちは、この言葉がコーヒーであることを願っています。
