Primeiro, aprenda um blog melhor do xgboost
- Conhecimento teórico básico do modelo: https://www.jianshu.com/p/7467e616f227
- Ajuste do modelo: https://www.cnblogs.com/lvpengbo/p/8822318.html
Segundo, o problema de classificação no modelo
1. Por que o valor da folha deve ser adicionado à função objetivo do modelo
A função objetivo do modelo xgboost possui dois componentes, um é a função de perda e o outro é a complexidade do modelo. Entre eles, a fórmula da função objetivo:
Fórmula da complexidade do modelo:
A função de perda é relativamente fácil de entender, ou seja, a diferença entre o valor previsto atual e o valor real; a complexidade do modelo é composta de duas partes: o número de nós de folhas e o valor do nó de folhas na árvore. Quanto mais nós de folhas, mais complexa a estrutura do modelo, Qual é o relacionamento entre o valor do nó e a complexidade. O modelo XGBoost é composto por vários modelos de base (árvores) Se o valor de cada modelo de base for pequeno, a magnitude de cada atualização do valor-alvo será relativamente pequena, de modo que a influência de uma determinada árvore no modelo. Do ponto de vista da fórmula, quanto maior o valor de γ, mais você deseja obter uma árvore com uma estrutura simples; quando o valor de λ é maior e o número de nós foliares T é fixo, mais você deseja que o valor do nó foliar seja menor.