機械学習の基礎に関する Lin Xuantian のメモ (2)

スクリーンショットはしばらくクールです、そして火葬場 = =、

2.「はい」と「いいえ」で答える方法を学ぶ

P6 2.1
x = (x1,x2, … xd) はユーザーのさまざまな特性を表し、threshold はしきい値を表します。
y = { +1(良い), -1(悪い) }、0 の場合はまれであることに注意してください。それは大したことではありません 意味
h ∈ H
h(x) =sign(summation(1~d)wi xi - 閾値)
=sign(summation(0~d)wi
xi) 注: x0 = 1 、 w0 = 閾値
h(x ) can o(+1) と x(-1) を分けた直線を表します
ここに画像の説明を挿入
ここに画像の説明を挿入
ここに画像の説明を挿入
(1 次元の線形分類器、高次元のものも同様です (??? 同様の方法を行う方法はわかりませんが、私には描けないってこと?))

P7 2.2二次元平面上で次のように
D 上で g ≈ f を作ってみてください。

f にできるだけよく適合する線を見つける必要がある

このようなアイデアがあります (PLA):
(パーセプトロン学習アルゴリズム パーセプトロン学習アルゴリズム)
g0 行から開始し、ゆっくりと改善する方法を見つけます
。 t は t ラウンド目を表し、エラー 1 があるときに wt+
を修正し始めます←
wt + yn(t) xn(t)
エラーが見つからなくなるまで
(エラーを知ることでアルゴリズムを改善できます)
[質問: なぜ y
x は
いくつかの URL を見つけるのですか: https://zhuanlan.zhihu.com/p/30641772
Dr. B駅東さんもコメントしてましたが、分かりません】
ここに画像の説明を挿入
わかりました。w と x の間の角度が 90° を超える場合、y は -1 または 1 です。
最初に w0、x0、y0 があると仮定すると、
w0 内積 (またはドット積) x0 < 0、符号 ( w0 · x0) = -1, このとき y0 が +1 に等しい場合
、上の図のように、符号 (w0
x0)! = y0
(符号関数は百度百科を知りません)
したがって、x0 は翻訳すると、これは点線であり、w0+x0 (点線)、紫色のものが得られます: w0 + y0x0、つまり w0+x0 は新しい w になり、w1 として記録されます。 、w1 と x0 の間の角度は
<90° になり、内積は自然 > 0 になります。sign(w1*x0) = 1 = y0
w は正常に更新され、その後は思考の流れに従い、データは誤って分類されません
ここに画像の説明を挿入
線を分ける(ピンクと青を分ける)とき、線の方向はwの方向と直角になることに注意してください。すぐには理解できませんでした。wとxの角度が であることは弾幕を読んで初めて知りました鋭角
、鈍角は X なので、分割線は 90 度の方向になります

間違いを知ってアルゴリズムを変更することについて:
この方法は停止しますか?
停止後に決定された g は本当によく適合しますか
(おそらくトレーニング セットにちょうど適合します)

練習問題の答え:
wt+1 = wt + yn xnの左辺と右辺で yn xn が乗算され、yn
* wt+1(T) xn >= yn wt(T) xn
であることがわかるため、 3 を選択してください。この式はレッスン 6 を表します。式 w x、スコアしきい値は、後者よりも前方の yn に適合しており、更新された g が実際に f に近いことを示しています。

P8 2.3
PLA の収束を証明する:
ここに画像の説明を挿入
ここに画像の説明を挿入
最後に、演習で PLA の収束を証明する定数は何ですか:
https://www.cnblogs.com/porco/p/4605597.html
証明方法がわかりませんでした。 、定数は = p/ R^2 に等しくなります。

P9 2.4
ノイズがある場合やデータが線形分離できない場合、PLA が停止しない場合があります。
特にデータが線形分離できない場合、PLA は停止しません。

2 次元グラフで、誤差が最も少ないラインを見つけます。
これは np の困難な問題であり、解決するのが困難です。
ここに画像の説明を挿入
したがって、貪欲なアプローチを見つけて適切なラインを見つけてください:
貪欲な PLA を使用して解決し (ポケット)、実行します一定回数、最もよく知られている w を検索します
ここに画像の説明を挿入

おすすめ

転載: blog.csdn.net/Only_Wolfy/article/details/89354827