著者：chen_h
マイクロ・シグナル＆QQ：862251340
マイクロチャネル公共数：coderpai
（C）Pythonのランダムフォレストアルゴリズムとの取引を
（E）は、どのようにPythonでスクラッチから袋詰めのアルゴリズムを達成するために
（VI）どのようにランダムフォレストアルゴリズムを達成するためにゼロからのPythonを使用するには
（VII）アダブーストプロフィール
ブーストは、弱識別器の数から強い分類器を作成しようと、統合された技術です。この記事では、AdaBoostの方法をご紹介します。この記事を読んだ後、あなたは知っていますよ。
- アルゴリズムを押し上げるの基本原理。
- 決定木を強化するためのAdaBoostアルゴリズムを使用する方法を学びます。
- AdaBoostのは予測するモデルを使用する方法を学びました。
- アダブーストアルゴリズムと組み合わせて使用するデータを準備する方法のベスト。
この記事は、開発者向けに書かれ、統計的または数学的な背景がありません。この記事では、アルゴリズムの動作とどのように予測モデリングのためにそれを使用することに焦点を当てています。ご質問があれば、あなたは、バックグラウンドでメッセージを残すことができます。だから、ここに私達は行きます。
積分法を後押し
ユニバーサル統合アプローチでブーストする、我々は、弱識別器の数から強い分類器を作成することができます。これは、第2のモデルを構築することにより、最初のモデルの間違いを修正するために、その後のトレーニングデータからモデルを構築し、によって行われます。モデルは、最大数や完璧な予測まで追加しました。この学習アルゴリズムは、より良い私たちが学ぶのを助けることができるかどうかのAdaBoostブースティングアルゴリズムは、最初に成功した開発です。現代のブースティングアルゴリズムの多くは、AdaBoostのアルゴリズムに基づいており、最も有名なのは確率的勾配のアップグレードです。
データからAdaBoostの学習モデル
AdaBoostのは、バイナリ分類問題に決定木の性能を向上させるための最適です。
AdaBoostの元々フロイントとSchapireはアダブーストM1と呼ばれるオーサリング。それが分類に使用し、返却されていないので最近、それは、個別のアダブーストと呼ばれています。
AdaBoostのは、任意の機械学習アルゴリズムの性能を改善するために使用することができます。弱い学習者は分類の確率論的モデルでより高い精度を達成するために、これらのモデルを使用することが最も適しています。
層構造の決定木で使用するために最も適したのAdaBoost。これらの木は非常に短いので、彼らはしばしば、決定木の切り株と呼ばれているので、唯一の分類決定を含みます。
トレーニングデータセットの各インスタンスが必要とされる加重初期重量は次のように設定されています。
その中で、 i番目の学習例で、n個のトレーニング例の数です。
モデルを訓練する方法
トレーニングデータに重み付けされた弱識別器（決定木の切り株）を使用して、試料の調製。このモデルサポートのみバイナリ分類、各決定木は入力変数に、1.0または-1.0の第一級又は第二級の出力値の決定を行うために切り株ので。
モデルのトレーニングのために計算誤分類率。次のように従来は、計算：
エラーが誤分類率であり、正しい分類が正しいモデル番号であり、Nトレーニング例の総数です。モデルが正確に100 78のトレーニングインスタンスを予測した場合、エラーまたは誤分類率は、（100から78）/ 100又は0.22であろう。
しかし、我々は間違った訓練例を変更する必要があります。
これは、wiは正しい分類場合は、エラーが1または0を分類した場合、私は、テロiは、トレーニング例の予測誤差であるウェイトトレーニング例の重量である、誤分類の加重和です。
例えば、我々は3つの訓練例があり、その重量は0.01,0.5 0.2である場合。予測値-1、-1、-1、真の出力変数の例-1,1、-1。そして、恐怖は0、1、0です。次のように誤分類率が計算されます。
誤差=（0.01 0 + 0.5 1 + 0.2 * 0）/（0.01 + 0.5 + 0.2）= 0.704
モデル計算ステージの訓練値は、ステージは、重み付け任意の予測モデルになります。次のようにステージトレーニングモデルの値が計算されます。
ステージ= LN（（1-誤差）/エラー）
ここで、重み付け予測モデルのステージ値によってステージは、LN（）は自然対数であり、誤差は、分類のために間違ったモデルです。再ステージに権利は影響がより正確なモデルが、最終的な予測に対してより大きな重み又は寄与を有しています。
更新研修の重み、より多くの重量が小さく、正しい重みを右例えば予測、間違った予測の一例です。
例えば、トレーニング例（w）の重量を次の更新を使用しました：
* EXP W = W（ステージ*テロ）
ここで、ウエイトトレーニング例の特定の重みwは、EXP（）は数値定数eは、ステージは、特にとして計算弱識別器、エラーテロが出力変数を予測された弱識別器の誤分類です。
テロ= 0（Y == P）であれば、そうでない場合は1
yはトレーニング例の出力変数であり、pは弱識別器から予測されます。
訓練例が正しく分類されている場合は、右のは正しく例を訓練分類されていない場合には、重みは、対応する増加となり、重量は変更されません。
使用のAdaBoost予報
これは、弱識別器の加重平均を計算することによって予測されます。
新しい入力たとえば、アナライザは、各弱+1または-1の予測値を算出します。各弱学習のための重み付け予測値の位相値。統合された予測モデルは、重み付け予測の和としてみなされています。合計が正である場合、予測の最初の種類、それが負、予測の第二のタイプである場合。
例えば、弱判別器5の予測は1,1、1,1および-1です。最も多くの票、または初見クラスのモデル予測値を参照してください。しかし、我々は、重量が0.2,0.5,0.8,0.2および0.9であると仮定し、体重を計算する必要があります。加重予測を計算し、最終的な出力は-1または予測の第二のタイプれ、-0.8です。
概要
この記事では、あなたが学ぶことができ、機械学習する昇圧方法を見つけました：
- 弱識別アルゴリズムを持ち上げると、強識別器となり、
- アダブーストは、ブースティングアルゴリズムの最初の成功した使用です。
- AdaBoostの訓練例と加重弱識別器を学習モデル。
- 弱識別器によって重み付け予測からモデルを学習するのAdaBoost。
