1. パーセプトロンモデル
パーセプトロンは比較的単純な 2 値分類モデルですが、単純さから複雑さまで、パーセプトロンはニューラル ネットワークとサポート ベクター マシンの基礎となります。パーセプトロンは、入力データを +1/-1 に分割する線形分離超平面を学習するように設計されているため、パーセプトロンは線形モデルです。
入力空間から出力空間、そして関数へ: ここで、x はインスタンスの特徴ベクトルであり、
パーセプトロンと呼ばれます。w と b はパーセプトロン モデルのパラメーターです。w は重み (重み)、b はバイアスと呼ばれます。 (バイアス)、ここで、符号関数は Sign function です。
w と b によって形成される線形方程式 wx+b=0 は、極めて線形に分離された超平面です。このパーセプトロン モデルを使用すると、データ セットを分割する適切な直線を見つけることができます。
第二に、パーセプトロンの学習戦略
まず第一に、データセットが線形分離可能であることを確認します。線形分離可能とは何ですか? 線形分離可能とは、2 種類のサンプルを一次関数 (2 次元空間の直線、3 次元空間の平面など) で分離できることを意味します。 、および高次元空間の 1 次関数。たとえば、2 次元空間に赤いボールと緑のボールがあり、それらを直線で分離できるということは、このデータセットは線形分離可能であり、3 次元平面に拡張できることを意味します。 2 つを切り取って 2 つの部分に分割すると、これは 3D で線形分離可能なデータセットになります。
二次元平面を例に考えますが、超平面（直線）はどうやって求めるのでしょうか？
- 直線は一点も外さなければ良い直線です。
- モデルは適切な直線を見つけるように努める必要があります。
- 良い直線がない場合は、悪い直線の中から良い直線を見つけます。
- 直線がどの程度悪いかを判断する方法: 間違った点から直線までの距離を合計します。
そして、この距離の和を考えると、関数距離と呼ばれる距離と、幾何学的距離と呼ばれる距離の2種類が存在します。『知湖』著者ジェイソン・グ氏の解説
関数距離を同時に拡大または縮小すると、距離もそれに応じて変化しますが、幾何学的距離を使用するとこの問題が解決されるため、||w|| は w の L2 ノルムと呼ばれます。
||w|| = ルート (1 から n までの合計 wi^2)
明らかに、損失関数 L(w,b) は非負です。誤分類点がない場合、損失関数の値は 0 です。誤分類点が少ないほど、誤分類点が超平面に近づくほど、損失は小さくなります。したがって、パーセプトロンの学習戦略は、仮説空間で最小の損失関数を持つモデル パラメーター w,b をパーセプトロン モデルとして選択することです。
3. パーセプトロン学習アルゴリズム
パーセプトロンの損失関数がわかったので、パーセプトロンの学習問題は損失関数を解く最適化問題に変換され、その最適化手法が確率的勾配降下法である。x=x-nf`(x)
具体的には、パラメータ w0,b0 で示される超平面を任意に選択します。次に、w と b の勾配を求めます。勾配は関数が最も速く下降する方向を表すことがわかっています。次に、この方向に沿って一定の距離を下降すると、関数の最小値にすぐに近づくことができます。
w の損失関数の偏導関数と b の偏導関数は次の式を取得します。
各勾配更新の式は x=x-nf`(x) です。
パーセプトロンのアルゴリズムの元の形式を以下に紹介します。
4. パーセプトロン学習アルゴリズムの双対形式
実際には、双対形式は yixi の繰り返し計算用に最適化されており、w と b をインスタンス xi と yi の線形結合として表します。n
回の変更を想定すると、増分は aiyixi と aiyi になります (ai=nη)。(0<η<=1)
w = w0+a1y1x1+a2y2x2+…anynxn
b = b0+a1y1+a2y2+…anyn
w0、b0 は 0 に初期化され、その後
w をパーセプトロン モデルに代入すると、このときのパーセプトロン モデルは
ai=niη の場合、ni は点 (xi, yi) が誤って分類された回数であるため、ai の各増分は η になります。
したがって、パーセプトロンの双対形式アルゴリズムは次のようになります。
5. パーセプトロン学習アルゴリズムの双対形式の例
