第一阶段 机器学习基础与凸优化
【核心知识点】
- KNN，Weighted KNN、近似KNN
- KD树，近似KD树、哈希算法、LSH
- 岭回归、LASSO、ElasticNet
- 正则：L1, L2, L-inifity Norm
- LR、GD、SGD、小批量SGD
- 凸集，凸函数、判定凸函数
- LP、QP、ILP、SDP问题
- Duality，Strong Duality、KKT条件
- 带条件/无条件优化问题、Projected GD
- 平滑函数、Convergence Analysis
第二阶段 SVM与集成模型
【核心知识点】
- Max-Margin与线性SVM构建
- Slack Variable以及条件的松弛
- SVM的Dual、Kernelized SVM
- Kernel Functions, Mercer 定理
- Kernelized LR/KNN/K-Means/PCA
- Bagging, Boosting, Stacking
- 信息论与决策树- 随机森林，完全随机森林
- 基于残差的提升树训练思想- GBDT与XGBoost
- 集成不同类型的模型
- VC理论， PAC Learning