GBDT VS XGBOOST
1. 传统GBDT以CART作为基分类器，特指梯度提升决策树算法，而XGBoost还支持线性分类器（gblinear），这个时候XGBoost就相当于带L1正则和L2正则项的 logistics回归（分类问题）或者线性回归（回归问题）
2. 传统的GBDT只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。
3. xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias variance tradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统的GBDT的一个特性
下列关于分类器的说法中不正确的是（）
正确答案: C 你的答案: D (错误)
SVM的目标是找到使得训练数据尽可能分开且分类间隔最大的超平面，属于结构风险最小化
Naive Bayes是一种特殊的Bayes分类器，其一个假定是每个变量相互独立。
Xgboost是一种优秀的集成算法，其优点包括速度快、对异常值不敏感、支持自定义损失函数等等
随机森林中列采样的过程保证了随机性，所以就算不剪枝，也不容易出现过拟合。
GBDT核心在于每一棵树学的是之前所有树的结论和的残差，残差是一个加预测值后能得到真实值得累加量，xgboost和GBDT差不多，不过还支持线性分类器
xgboost可以自定损失函数，速度很快，但是对异常值很敏感