análisis del código fuente de sklearn adaboost

CSDN

sklearn.ensemble._weight_boosting.BaseWeightBoosting.fit

for iboost in range(self.n_estimators):
    # Boosting step
    sample_weight, estimator_weight, estimator_error = self._boost(
        iboost,
        X, y,
        sample_weight,
        random_state)

    sample_weight_sum = np.sum(sample_weight)

    if iboost < self.n_estimators - 1:
        # Normalize
        sample_weight /= sample_weight_sum

sklearn.ensemble._weight_boosting.AdaBoostClassifier._boost_discrete

estimator.fit(X, y, sample_weight=sample_weight)

sample_weightEs $w_{mi}$, Ajuste según el peso de la muestra

# Instances incorrectly classified
incorrect = y_predict != y

# Error fraction
estimator_error = np.mean(
    np.average(incorrect, weights=sample_weight, axis=0))

La tasa de clasificación errónea es la suma de los pesos de las muestras clasificadas erróneamente: ${mi}_m={\sum }_{i=1}^N{w}_{mi}Yo\left(G_m\right(x_{yo})\ne y_{yo})$

Si el efecto del alumno débil ni siquiera es aleatorio, deténgase temprano.

Calcular ${GRAMO}_m$El coeficiente de $a_m=\frac{1}{2}log\frac{1-e_m}{{mi}_m}$

SAMMEEl algoritmo considera múltiples clasificaciones y las multiplica por la atenuación de learning_rate para lograr la regularización.

$w_{mi}=exp(-y_{yo}{a}_{m-1}{GRAMO}_{m-1}(x_{yo}\left)\right)$

试想，$y\times \hat{y}$, En la segunda clasificación, solo si los dos son diferentes, será 1

De hecho, este escrito también tiene en cuenta la situación de múltiples categorías. Para multicategoría , solo necesita modificar $a_m$Ese es estimator_weightel cálculo en el código .