https://www.cnblogs.com/mata123/p/7440774.html
https://www.cnblogs.com/infaraway/p/7890558.html
Xgboost缺点：
1、 在每次迭代的时候都要遍历整个训练数据多次，如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间
2、 预排序方法空间消耗大
因为xgboost采用的是基于特征的并行计算，所以在每次计算之前，都要对特征进行排序。这样的算法需要保存数据的特征值，还保存了特征排序的结果（例如排序后的索引，为了后续快速的计算分割点）。这里需要消耗训练数据两倍的内存
3、 时间消耗大，在遍历每个分割点的时候，都需要进行分裂增益的计算，消耗的时间代价大
4、 对cache优化不友好，在预排序后，特征对梯度的访问是一种随机访问，并且不同的特征访问的顺序不一样，无法对cache进行优化。同时，在每一层长树的时候，需要随机访问一个行索引到叶子索引的数组，并且不同特征访问的顺序也不一样，也会造成较大的cache miss.
LightGBM的优点
1、 基于Histogram的决策树算法
2、 带深层限制的Leaf-wise的叶子生长策略
3、 直方图做差加速
4、 直接支持类别特征（categorical Feature）
5、 Cache命中率优化
6、 基于直方图的稀疏特征优化
7、 多线程优化