アダブースト分類器
2019年8月31日
一人として古代皇帝のような非組み込み機械学習アルゴリズム、;現在の議会に似た統合学習アルゴリズムは、すべてのビューに耳を傾ける必要があります。
アダブーストは、次のアルゴリズムは、我々がアダブーストの内部の仕組みを理解するように、解体され、統合された学習アルゴリズムです。
Adboostアルゴリズムは、2つのコアの問題に分けることができます。
（1）弱分類器を構築する方法。
（2）これらの弱識別器を組み合わせる方法。
次のようにどこに（1）、それを洗練することができます。
1）弱判別器の主要な方法として使用するモデル？SVMまたはDecisionTree、またはロジスティック回帰です。
2）どのように生データを使用するには？またはすべてを使用したり、ランダムにバッチを使用して選択されます。
3）最後に弱識別器の数を訓練する必要がありますか？
これらの問題を解決するために終了し、全体アダブーストのアルゴリズムは非常に明確です。
弱識別器の1建設
メインアルゴリズム1.1の弱識別器
デザイナー自身が選択は、Adboostアルゴリズムは、弱識別器の主なアルゴリズムとして、アルゴリズムの種類を選択することが必須ではありません。
1.2元のデータセットを使用して
しかしアダブースト学習データは、各重み係数の重量が追加され、アダブーストのアルゴリズムは、弱分類器をトレーニングするためにトレーニングセットの全てを使用し、ランダムまたはバッチ動作と同様ではありません。
現在Adboostアルゴリズムは、モデルを訓練するためにトレーニングセットのすべてを使用し、その上に各データの重み係数のためにこれらの2つの点を右を追加するまでの間だけ。
弱識別器1.3の数
アダブーストのアルゴリズムはまた、必須要件ではなく、開発者は、弱識別器の自分の番号を指定するか、または自分の反復停止条件を設定することができます。
1.4弱識別器の訓練プロセス
仮にD、トレーニングセットのサンプル数として設定され、合計トレーニングであるN、Mまでの弱分類器を訓練します。
mは訓練された分類器の数に代わって準備を進めています。
$のW_ {I} $重量弱識別器重みリストのi番目を表し、$ W_ {I、J} $重み値がj番目のデータのi番目の弱識別器を表し、I、Jは0メートルからです
次のようにこれらの条件の下で、弱識別器の訓練プロセスは、次のとおりです。
1）初期化初期化重み付け係数Wおよびm = 0;
[0,1,2 \ cdots N-1] $における$ W_ {0、J} = \ FRAC {1} {N} \ \ \ \ \ \ \ \ \、j個の\
2）MはM-1、弱分類器の訓練を停止し、弱判別器の準備組み合わせよりも大きい場合。
3）それ以外の場合は、弱分類器を訓練するために使用されるウエイトトレーニングデータと$ G_ {M}（X）$を得た弱識別器を用います。
4）弱判別器$ G_ {M}（x）を計算 $のにトレーニングセットエラーレート：
{Y} _ {M} = G_ {M}（X）$ widehat $ \
$ \ varepsilon _ {M} = W_ {M} \のCDOT（{Y} widehat \ _ {M} \ NEQのY）$
5）相関係数を計算します。
FRAC {1- \ varepsilon _ {M}} {\ varepsilon _ {M}} $ \ $ \ alpha_ {M} = 0.5log
6）重みを更新します。
$ W_ {M + 1} = W_ {M} \時間EXP（ - \ alpha_ {M} \回\ widehat {Y} \回Y）$
正規化された重み
$ W_ {M + 1} = W_ {M + 1} /（\和W_ {M + 1、J} \ \）$
7）注文$ M = M + 1 $、ノースキップステップ2と、繰り返し終了条件か否かをチェック）を続けます。
8）弱判別器の組み合わせを調製し、次いで、反復の終了条件に達します。
前記弱判別器の組み合わせ
：相関係数の今回は、それを使用するために、最終的な強識別する$ F（x）は$を求めます
$ F（X）= \ sum_ {i = 0} ^ {M-1} \ alpha_ {I} G_ {I}（X）$
ときに$ F（x）が> 0 $は、正の予測