[Notas de estudo] Regressão Linear: A diferença entre Lasso e Ridge

Não me lembro da diferença entre os dois

Laço: Adicione uma forma normal L1 após a função de perda regular.
Quanto maior o termo de penalidade significa que o modelo é mais simples e mais e mais coeficientes de recursos são comprimidos para 0. Quando o termo de penalidade é infinito, resta apenas um termo constante. Neste momento, o viés é grande e a variância é pequena ; quanto menor o termo de penalidade significa o modelo, mais complicado é, quando o termo de penalidade é 0, Lasso e OLS são iguais.
Lasson pode fazer seleção e compactação de recursos.
Quando dois ou mais recursos estão relacionados, o Lasso escolherá compactar os recursos restantes para 0, deixando apenas um recurso, para que o Lasso possa resolver o problema de multicolinearidade (o cume também pode)

Ridge: Só pode fazer compressão. Como Ridge não comprimirá o coeficiente característico para 0, apenas o reduzirá para 0 infinitamente.
Adicione uma forma normal L2 após a função de perda regular.

おすすめ

転載: blog.csdn.net/weixin_52589734/article/details/116060443