文章目录
这次比赛的重点，在于过拟合问题和模型的泛化能力。
我就是疏忽了这一点，然后在Public leaderboard上是13名，然后最后成绩上，调到800多名。
7th总结
- final models was an emsemble: 0.3LGB, 0.3 CATB, 0.4NN
- 模型总类要多，这三种对于大数据最常见
- 20 fold-bagging for all models, NN additionally averaging across 3 seeds
- fold 数加多，我自己只使用了5 fold，然后NN使用3个随机种子，这样也能增加泛化能力
- 这句话我对自己说：不要太注意public leaderboard的成绩，如果这个这个比赛的波动大。
- 作者预测孩子智力的时候，参考了一个文献：On the Measure of Intelligence
（1）经历。一个孩子在不同的活动所花费的时间。我猜测这个应该就建立了好几个特征。
（2）准确度。孩子在他的准确率。 - 作者做的特征筛选，从150个特征到50个特征。作者对会去掉一个特征，然后对比cv score，然后做150次
- 然后去掉能带来小于0.0001进步的特征，作者将他们视为noise
- 通过这次比赛，我发现，特征越多，基本上会使得本地分数提高，但是有的提高的很小，作者将这种当作noise
- 模型越多，泛化能力越强，特征越多，很可能过拟合
- NN模型使用了Attention层。
