ボルツマンマシンを説明するための最も単純なモデルの歴史

では前の記事、対抗するために、ロジスティック回帰ベイジアンネットワークについての小さな夜、彼らは彼らの進化を始めています。制限付きボルツマンマシン(RBM)、敵(生成モデル)の武器になっている-しかし、我々は最終的ロジスティック回帰は、実際に生成モデルへと進化することを期待していなかったので。

RBMは非常に驚き、予期しないナイーブベイズを取得し、独自のベイジアンネットワークを行うための衝動を燃やし、敵はRBMの融合を送りました!

だから、ナイーブベイズクレイジーなアイデアは、それを達成することができますか?

 

 

v2-7429becd51ead3c3c4fa0fdf00756795_b.png または慣例に従い、第1の背景の位置を説明しました。では 、「ベイジアンネットワークへのナイーブベイズ」 、夜は少しナイーブベイズは肖像画を描いています。

 

v2-27c2f2b98754751d4e48e439de5bdc27_b.png

彼の肖像画を見た後、彼の深くパーク(弱い)ベジタリアン(鶏)が、進化を行わナイーブベイズ - その条件付き独立の仮定を放棄し、各次元の条件は、特徴ベクトルX内部の依存関係をモデル化。だから、ナイーブベイズベイズネットワークは、次の図に進化してきました:

 

v2-82779aa2b66bf0647cb4d473a6607ec3_b.png

前回の記事で、「制限付きボルツマンマシンへのロジスティック回帰」、 RBM、順方向に非常に大きな一歩とロジスティック回帰に比べて、我々はより合理的にも、各サンプルと「親密」のカテゴリごとに計算することができますこれは、の確率的グラフィカルモデルのエネルギー関数E(V1、V2)の大きさに関連しています。

RBMはそれの肖像画を描くよう小さな魂のアーティスト西八尾はベイズようにすることはできませんので、RBMので、複雑に見えますか?

 

v2-7429becd51ead3c3c4fa0fdf00756795_b.png

RBMの肖像画?

もちろん、それはよい - ビューのエネルギー関数E(V1、V2)点の定義から物品を、この関数は時間ベクトルV1およびV2を算出「親密」がない方向ではない、E(V1、V2)であることこれは、E(V2、V1)のと同じでなければなりません。したがって、図中の任意の2点のために、それらの間のエッジには方向(ナイーブベイズとベイジアンネットワークOH有向エッジとの間の区別に注意してください)がありません。だから、RBMのための2つの接続点があります。

 

V2-c23cb3d31deaecac4c503d33e58e3c6f_b.png

エッジ無向、及び小さな青い四角形とエネルギー関数を表しています。

式に従って物品のパラメータRBM - 固有ベクトル行列WこのRBMは、以下のようになりますので、各ベクトルYカテゴリの各寸法X及び寸法に接続されています。

 

 

v2-833b058257c141e3139e34ace1fb6a5d_b.png (小は、あまりにも多くの時間をボックスであるが)接続でのエネルギー関数でこれらのパラメータを表す省略〜それぞれの側は、まだ二つのノード()

え?あなたは感じています。十分ではない混乱!(熱狂的な良いアイデア

ナイーブベイズ、ベイジアンネットワークからのリコールもモデル化さX(様々なランダムな変数)の内部の様々な寸法との関係を体験することです!RBMは、それが独立の仮定を持つことである(内部Y言っも、より一般的な含み)内部Xのための単純ベイズ確率変数と同じです。では、「ベイジアンネットワークへのナイーブベイズ」に詳細に記載されている多くの場合、この独立性の仮定は非常に致命的です!

、モデルは各内部ランダムXとYを記載しているされている(ので、XとYは、内部の確率変数であることを自由に交換することができます - ボルツマンは、その中に身体の束縛のロックを解除 - それでは、何人のことを想定していません。変数間の条件に依存関係の能力が、ここでは直接双方向の条件付きの依存関係を記述)。したがって、図に見る、このようなものです:

 

v2-31fcef2a0b3902d6129d1d3b7a23edec_b.png

ボルツマンマシン:自由の友人のニャーニャーニャー〜好きな感じ〜

それでは、どのように数学的にそれを説明?もちろん、あなたが直接、RBMのアプローチ、それをコピーすることができます。

RBMは、そのエネルギー関数の機能で想定されています。

E(V1、V2)=  - (B ^ TV1 + C ^ TV2 + V1 ^ T \ CDOT W \ CDOT V2)

すべての次元におけるすべての次元XおよびY Wマトリックスに接続されています。あなたは、単に、すべての内部そして、すべての内部寸法XとYの寸法を接続したいので。

 

V2-d1bd6fdc102fff33317086ce5600040b_b.png

私はスマート、あなたがここにWと共感の2で、それを理解することは非常に簡単であると考えているSは、行列R、 v1とv2が内蔵されている様々な大きさの内部寸法を接続するために使用されます。

、RBMの形態であると仮定してそうボルツマンマシン(BM)機能

 

v2-2fbb89787e10085fdf32f28ac0e417f2_b.png

前記パーティション関数Z:

 

V2-e86b538be2f7e73b20e5e2186d585830_b.png

ただ、多くの精神病上記のフォームへのエネルギー関数内のみ〜

 

v2-7429becd51ead3c3c4fa0fdf00756795_b.png

よると、「一般機械学習」、我々はボルツマンマシン(BM)仮説の機能を理解している、あなたも、この自由で強力なモデルを訓練する方法を模索する必要があります。そして、どのように電車に、それは、モデルの結果の機能の損失を最小限にするために、適切な最適化アルゴリズムを選択し、適した損失関数を見つけるか、設計すること、です。

しかし、自由でカジュアルな価格はあります:

非!チャン!ハード!へ!トレーニング!実践!

我々は(ええっ?右、右、すべての記事?すべてを書き込む機能の喪失の不足分を残していないですが、幸いなことに、最も一般的な尤度関数を使用した場合の損失関数を想像してみて、「EMアルゴリズム」そして、トーク尤度関数があります)主要な最適化アルゴリズムのいずれかが(、仮想デリバティブ機能ボルツマンマシンを想像爆薬の量を計算します、特に大きな分母ホラーのパーティション機能のために!)、もちろんここでの(勾配降下の最も単純な最大化するために、尤度関数)は、勾配上昇の友人で、BMは、エンジニアリング上の現実的な訓練ではないでしょう。

それでは、どのようにそれを行うには?

-主流溶液は変性勾配上昇法を使用することであるMCMCアルゴリズムを尤度関数を最大化します。

このアルゴリズムの起源は、純粋数学的なプロセスであり、そして式のパイルので、明確なの崩壊に非常に長い記事を必要とします。詳細については、「ディープ・ラーニング」(中国語版のリンクを参照してくださいexacity / deeplearningbook-中国)第18章友人(∇)、数学が良くありませんShenruああ(小さな夜正直なところ、何の小さな夜は非常に明確ではありません徹底的に理解して...今ではないシャンハオ〜と、確かにこの本の話)

 

v2-7429becd51ead3c3c4fa0fdf00756795_b.png

えっえっ?ほとんど疑いの挑発の夜があると思うのが大好き:

まず第一に、これはボルツマンマシンの完全な可能性はまだありますか?どのようにそれは少し馴染みのエネルギー関数を見ました。以下のようなビット、ネットワーク(NTN)テンソル神経え?あなたは、ニューラルネットワークとしなければならないのだろうか?ウィル。深い学習との衝突の火花だろうか?呼び出されボルツマンマシンの深さ

ベイジアンネットワークは、方向側面を記述するために使用されるので、ボルツマンマシンは、無指向性のエッジを記述するために使用されますが、両方は、2つの〜自由であるように思えます。どちらが良いですか?

〜新たな戦争、それを記述する確率マップの高さで、小さな夜ましょう

 

公開された33元の記事 ウォンの賞賛0 ビュー3294

おすすめ

転載: blog.csdn.net/xixiaoyaoww/article/details/104553463