K折交叉验证
一般情况将K折交叉验证用于模型调优，找到使得模型泛化性能最优的超参值。找到最优参数后，在全部训练集上重新训练模型，并使用独立测试集对模型性能做出最终评价。
如果训练数据集相对较小，则增大k值。
增大k值，在每次迭代过程中将会有更多的数据用于模型训练，能够得到最小偏差，同时算法时间延长。且训练块间高度相似，导致评价结果方差较高。
如果训练集相对较大，则减小k值。
减小k值，降低模型在不同的数据块上进行重复拟合的性能评估的计算成本，在平均性能的基础上获得模型的准确评估。
K折交叉验证的一个特例：
留一（LOO）交叉验证法：将数据子集划分的数量等于样本数（k=n），每次只有一个样本用于测试，数据集非常小时，建议用此方法。
blend ensemble and stack ensemble
本质都是分两层,第二层用第一层的预测值作为特征再进行训练
Blending与stacking相比优点在于：
1.比stacking简单（因为不用进行k次的交叉验证来获得新特征）
2.由于两层使用的数据不同，所以避免了一个信息泄露的问题。
3.在团队建模过程中，不需要给队友分享自己的随机种子。
而缺点在于：
1.由于blending对数据集这种划分形式，第二层的数据量比较少。
2.由于第二层数据量比较少所以可能会过拟合。
3.stacking使用多次的CV会比较稳健
对于实践中的结果而言，stacking和blending的效果是差不多的，所以使用哪种方法都没什么所谓，完全取决于个人爱好。
blend ensemble
比如70%的数据作为新的训练集，剩下30%的数据作为测试集。
第一层我们在这70%的数据上训练多个模型，然后去预测那30%数据的label。
在第二层里，我们就直接用这30%数据在第一层预测的结果做为新特征继续训练即可。
stack ensemble(两层都用到的所有训练数据)
第一层:全部训练数据,多个模型k折交叉验证
第二层:对验证集上的预测值作为特征,进行训练
