机器学习算法常见面试题目总结

• 决策树的ID3，C4.5，CART等，决策树的split原理和剪枝策略
• 给出逻辑回归的模型、原理
• 随机梯度下降算法的原理和具体迭代函数
• GBDT模型的损失函数、建模原理，以及如何调参？
• GB和牛顿法的区别，它们和泰勒公式的关系
• 为什么用最小二乘而不是最小四乘
• 过拟合怎么解决，L1和L2正则化有什么区别
• 怎么理解损失函数，SVM的损失函数是什么，写出公式
• 偏差和方差是什么，高偏差和高方差说明了什么：

  1.数据欠拟合会出现高偏差问题。

  2.数据过度拟合会出现高方差问题。

  3.怎么处理高偏差和高方差问题：

  高偏差：训练误差很大，训练误差与测试误差差距小，随着样本数据增多，训练误差增大。

• 解决方法：寻找更具代表性的特征、.用更多的特征（增大输入向量的维度）

  高方差：训练误差小，训练误差与测试误差差距大，可以通过增大样本集合来减小差距。随着样本数据增多，测试误差会减小。

• 解决方案：增大数据集合（使用更多的数据）、减少数据特征（减小数据维度）

  一般采取判断某函数是高方差还是高偏差，简单的判断是看训练误差与测试误差的差距，差距大说明是高方差的，差距小说明是高偏差的。
• 聚类过程
• Bagging 和 Boosting的区别
• 朴素贝叶斯的公式
• 
• SVM的原理及公式推导：

   

• 神经网络如何工作
•