回归和分类算法
A-线性回归算法:
如工资预测:
(01)线性回归的公式:
(02)线性回归误差分析:
如上为线性回归误差公式。
条件:(1)样本预测结果相互独立。(2)样本预测结果处于于相同的误差范围。(3)均值为0,且方差为θ∧2的正态分布(高斯分布),得到如下公式(μ=0):
然后通过对ε(i)进行替换,得到如下的式子:
(注释:某θ值与x拟合后得到p(x;θ)越接近于p(y)。)
(03)引入似然函数:
(目的:对全体样本进行预测估计)
针对不同的θ值=》L(θ)数值=》取max值时的θ向量组即为θ的最终理想解。(m为样本总数。)
(04)引入对数似然函数:
目的:将乘法计算过程转换为加法计算过程。
然后进行化简得到下式。
得到目标函数如下:
(05)行列式的计算:
对目标函数进行行列式的转换求解,如下:
(定理运用:a∧2=a∧T*a)
对J(θ)求导,进行极值的计算如下:
(定理运用:(ab+c)∧T=b∧T*a∧T+c∧T)
(06)行列式的求导:
进行求导的过程如下:
(定理运用:行列式求导知识)
令▽θJ(θ)=0,得到θ的理想解:
B-logistic回归算法:
(01)引入sigmoid函数:
以(θ∧T*X)为自变量得到下式:
(*)应用一分类:
然后根据 θ∧T得到相应的hθ(x)值,然后根据设定的概率区间对X进行分类。
(*)应用二理想解:
若θ∧T为未知理想解,使得hθ(x)趋近于0/1,则对g(θ∧T*x)进行求导,求其极值点,得到如下关系式:
C-梯度下降原理:
(*)实例分析:
(01)Normalize the data:
(02)J(θ0,θ1)线性关系的分析:
假设y与x为线性回归关系:
(03)根据线性回归的误差分析,得到代价函数:
代码实现部分:
测试样例:
(04)根据线性回归分析特点,对θ1和θ0求偏导式如下:
θ1:
θ0:
代码实现部分:
θ1:
θ0:
测试样例:
θ1:
θ0:
(05)引入“梯度”概念:
如图:
如图为cost=J(θ1,θ0)示意图(cost大于0,图示有误)。α为设定的步长,∂J(θ0,θ1)/∂θ0为梯度。
(06)设定边界值训练:
α,θ1,θ0,max_epochs,convergence_thres,cprev的设定和初始化采用预设值。
代码部分:
测试样例:
(07)cost与训练次数分析:
最优解样例:
附cost与训练次数关系图: