1. はじめに
統合学習アルゴリズム シリーズの起源は PAC Learn 能力 (確率近似を学習できる) に由来しており、PAC 理論は学習アルゴリズムの強度を定義します。
結合分類子は、複数の基本分類子で構成される複合モデルであり、トレーニング セットが与えられた後、マルチクラス セットは複数の異なる基本分類子をトレーニングできます。分類段階では、各基本分類器がテスト ケースの分類に参加して結果を出し、その後、異なる基本分類器によって与えられた分類結果を特定の方法に従って組み合わせて、最終的な分類結果を取得します。
2. 組合せ分級機 1袋袋詰め
K 個の学習済みモデル M1、M2、...、Mk を結合して複合分類モデル M* を形成し、基本分類モデル M1 をトレーニングするためにデータセット D を k 個の部分 D1、D2、...、Dk に分割します。 、M2、...、Mk. テスト セットを予測する場合、各基本分類器は独自の予測結果に従って投票し、結合された分類器は最も高い投票数を持つ予測結果を最終結果として出力します。
3. 組み合わせ分類器 2 - AdaBoost のブースト
バギングは、単純に基本分類子の組み合わせです。
AdaBoost は、基本分類子が前のラウンドで誤って分類されたサンプルにさらに注意を払うようにする反復プロセスです。
基本的な処理は、
(1) 初めに、訓練データセットの各サンプルに等しい重み 1/d を割り当てます
(2) 重みに応じて D から置き換えてサンプリングし、k 個の訓練セットを取得した後、 k 個の基本分類器を取得します。
（３）分類器が生成された後、データセットＤを予測し、予測結果に従ってサンプルの重みを調整し、誤って分類されたサンプルの重みを増加させ、正しく分類されたサンプルの重みを減少させる。
(4) 同時に各基本分類器に重み付けを行い、基本分類器の誤り率が低いほど正解率が高くなり、投票の重みが大きくなります。