Aprendizado de Máquina - Teoria de Variância e Viés
O conteúdo sobre a variância e viés do aprendizado de máquina é realmente muito importante. Essa variância e viés podem nos ajudar a analisar a capacidade de generalização do modelo e o grau de overfitting.
Em seguida, primeiro damos a fórmula para armazenar variância e desvio:
Observe que na fórmula a seguir, f ( x ; D ) representa o modelo treinado no conjunto de dados D e f − ( x ) representa os pesos treinados em infinitamente diferentes conjuntos de dados O modelo médio, y representa o modelo ótimo entre as hipóteses. f(x;D) representa o modelo treinado no conjunto de dados D, f^{-}(x) representa o modelo médio ponderado treinado em infinitos conjuntos de dados diferentes e y representa o modelo ideal na hipótese.f ( x ;D ) representa o modelo treinado no conjunto de dados D , f− (x)representa o modelo médio ponderado treinado em infinitos conjuntos de dados diferentes eyrepresenta o modelo ideal na hipótese.
Nota: Os diferentes conjuntos de dados mencionados abaixo são essencialmente homólogos, ou seja, derivados essencialmente de uma fonte de dados de uma natureza.
Na verdade, podemos ver na fórmula acima que a variância é a variância dentro do modelo treinado por diferentes conjuntos de dados .
O desvio é o modelo treinado por diferentes conjuntos de dados. Ao calcular o modelo médio, a diferença quadrada entre o modelo médio e o modelo ideal é o desvio.
Se você tiver muita prática de aprendizado de máquina, talvez possa deduzir a relação entre capacidade de generalização, grau de superajuste e variância e viés.
Os seguintes blogueiros irão resumir a relação entre capacidade de generalização, grau de superajuste e variância e desvio:
(1) Obviamente, quanto maior a variância, maior a diferença nos parâmetros em diferentes conjuntos de dados, ou seja, a grande diferença no modelo, que is O modelo é muito sensível ao conjunto de dados, ou seja, quanto maior a possibilidade de overfitting, portanto, quanto maior a variância, maior a probabilidade de o modelo ser overfitting.
(2) E quanto ao desvio? Quanto maior o desvio, maior a diferença entre os resultados do modelo e o modelo ótimo, ou seja, o efeito pobre do modelo, ou seja, pior a capacidade de generalização.
Então, idealmente, esperamos que a variância e o viés sejam relativamente pequenos, o que é o melhor.
O experimento de variância e desvio também deve ser muito interessante, mas o tempo é limitado, então o blogueiro não o fará, mas eu sei como fazer esse experimento, os alunos interessados podem me consultar.