机器学习公式推导

线性回归

逻辑回归

对于分类问题：输出0/1，超过[0,1]没有意义，使用sigmoid函数

**代价函数：**使用L2平方差，由于模型函数变了，会导致J()变成非凸函数，有可能出现很多局部最小值，梯度下降很难收敛到全局最小值

线性判别分析

LDA思想：将高维样本投影到具有最佳判别效果的低维矢量空间，使得降维样本在新的子空间内类间距离最大，类内距离最小，在该低维空间内有最大的可分性。

PCA

k-means

决策树

svm

随机深林

GBDT

xgboost

强化学习

MapReduce