林玄天の機械学習テクニックに関するメモ (5)

急に他の事が増えて進みが遅い気がしますお～お

カーネルロジスティック回帰

---

P18 5.1 は
ロジスティック回帰とカーネルを組み合わせています。
ハードとソフトの比較:

再び ζ を正規化できます。点にエラーがある場合 (0<ζ < 1)、エラーがない場合 (ζ = 0)、max 関数を使用して要約できます。それを整理し、以前と同じであることがわかります。

正則化は非常に似ています（ここでの正則化が何であるか覚えていません）。しかし、なぜ直接置き換えることができないのでしょうか。条件がないことが判明したため、それは条件ではないことがわかります。 QPの問題でdualやkernelが使えず、max関数も入手困難 :

svmと正則化の違いと関連性をまとめます。マージンは実際には正則化の一種であり

、2 つの SVM の C も正則化の λ に関連していることがわかります。

そこで、SVMと他の従来モデルとの連携を検討していきます。

---

P19 5.2
は err _{0/1を参照しており、 err SVM}のグラフも描くことができます。 err _0/1の上限である err _0/1を完全にカバーしていることがわかります。前のロジスティック回帰によると、上限関数が見つかった場合は、この上限関数を直接使用して、元の関数を間接的に改善できます。さらに、 err _SVMは依然として凸型の上限であり、 凸型上限と呼ばれます。 err _{SVM は}ヒンジ誤差測定とも呼ばれます。

以前の err _SCE

と比較すると、この 2 つは非常に似ていることがわかりました。そのため、次の比較を置き換えることができます。ロジスティック正則化問題を解決したことがわかり、実際、SVM の解がほぼ得られました。

SVM を解決した後、LogReg ソリューションも得られましたか?

---

P20 5.3 は
LogReg と SVM をどのように統合しますか? 次の 2 つの方法は、一方のタイプに偏りすぎて、もう一方の利点を失います。

係数 A と定数 B (境界を変換するために使用) を設定して、この 2 つを融合できます。一般的に言えば、W SVM が通常は適切に機能するため、A>0 であり、それにカウンターを実行する必要はありませ_ん。 ≈ 0 なぜなら b _SVMは一般的に 悪くありません:

新しい LogReg を取得するために整理します. この時点で、前の LogReg の φ を φSVM に置き換えます_.このとき、調整する必要があるのは変数 A と B だけです合計 2 つのステップがあります:

これは Platt によって提案されたモデルであり、一般的なステップは次のとおりです:

カーネル SVM は z 空間で LogReg の近似最適解を解き、次の講義では の正確な最適解を見つけることです。 z 空間で LogReg!

---

P21 5.4

この部分は以前のことをたくさん組み合わせているので少しわかりにくく、中には忘れていたり、よく理解できていなかったりするので、赤い石の礎石のメモを見返す必要がありますが、読んだ後何度か、また懐かしいと感じて、それを要約して、ダ・ニウのメモと一緒に食べてみます

SVM が以前にどのように行ったかを見てみましょう。SVM は双対性を備えた二次計画法であるため、双対性の後に QP が使用されます。その後、QP はカーネルを使用して複雑さを軽減できることを発見し、O(d ~ ) から^O (d) に変更します。ただし、LogReg は二次計画法 (二次) ではありません。
前にカーネルの使用方法を考えてください。w が z の線形結合になれる場合、おそらく wTz は zTz (z の内積) を持ち、カーネルを使用して計算できます。次のさまざまなアルゴリズムを参照してください。 w の表現形式は

すべて線形です z:

数学には代表定理があります:

最適な$w_{}$これは z の線形結合であるため、一貫しています。
簡単な証明: $w_{}=$ w_//+ w_⊥(// と ⊥ は zn 平面用)、および w_⊥= 0。
最適な$w_{}$w _⊥ ! = 0 の場合: 1 N ∑ n = 1 N err ( yn , w T zn ) \frac{1}{N} \sum^N_{n=1}err(y_n,
w$\frac{}{N}{\sum }_{n=1}^{}えっ、えっ、（{そして}_{}、w^{ツ}{ズ}_{})$、zn を並列に乗算しても zn のままであり、zn を垂直に乗算しても 0 であるため、err が何であっても、式の後ろの項は式の前の wTw と同じです (
w_//* w_⊥=0)。w_⊥! = 0 の場合、式は常に w_//* w_//。これは、W* が最適であるという前述の記述と矛盾します。(矛盾した方法)

このように、w は線形で表現できます。つまり、LogReg もカーネルを使用でき、err 関数はシグモイド関数です。いくつかの単純化の後、カーネル ロジスティック回帰 (この章ではいわゆる KLR) ): 簡単な要約: KLR は

定理 (代表者定理) を使用して表現され、カーネルを使用して zTz を置き換えることが可能です。β 変数は 1 つだけであり、この β は無制限であり、さまざまな GD/SGD を使用して解くことができます。最適なβ。

次に、KLR による w の変換を別の観点から見ることができます:

(知りたい場合は、ビデオをご覧ください...)

この KLR 線形モデルが何次元を持つかを尋ねます。β n β_n
だけを勉強するように変換されているので$b_{}$変数なのでN次元です。

---

概要: (第 5 章がついに終わりました!!!! 最後のセクションは読むのが大変でした)

次のセクションでは、カーネルを使用して一般回帰を行う方法について説明します~