sklearnadaboostソースコード分析

CSDN

sklearn.ensemble._weight_boosting.BaseWeightBoosting.fit

for iboost in range(self.n_estimators):
    # Boosting step
    sample_weight, estimator_weight, estimator_error = self._boost(
        iboost,
        X, y,
        sample_weight,
        random_state)

    sample_weight_sum = np.sum(sample_weight)

    if iboost < self.n_estimators - 1:
        # Normalize
        sample_weight /= sample_weight_sum

sklearn.ensemble._weight_boosting.AdaBoostClassifier._boost_discrete

estimator.fit(X, y, sample_weight=sample_weight)

sample_weightある$w_{mi}$、サンプル重量に応じたフィッティング

# Instances incorrectly classified
incorrect = y_predict != y

# Error fraction
estimator_error = np.mean(
    np.average(incorrect, weights=sample_weight, axis=0))

誤分類率は、誤分類されたサンプルの重みの合計です$e_{メートル}={\sum }_{i=1}^N{w}_{mi}私（G_{メートル}（x_{私}）。\ne Y_{私}）。$

弱い学習者の効果がランダムでさえない場合は、早めに止めてください。

G mG_mを計算し$G_{メートル}$αm= 1 2 log 1 − emem \ alpha_m = \ frac {1} {2} log \ frac {1-e_m} {e_m}の係数$a_{メートル}=\frac{1}{2}log\frac{1-e_{メートル}}{e_{メートル}}$

SAMMEアルゴリズムは複数の分類を考慮し、それをlearning_rateの減衰で乗算して、正則化を実現します。

$w_{mi}=EXP（-Y_{私}{a}_{M-1}{G}_{M-1}（x_{私}））$

试想、$Y\times \times \hat{Y}$、2番目の分類では、2つが異なる場合にのみ、1になります。

実際、この記事では、複数のカテゴリの状況も考慮に入れています。マルチカテゴリの場合、変更する必要があるのはαm\ alpha_mだけです。$a_{メートル}$これがコードでestimator_weightの計算です。