#线性回归,梯度下降法 #by cjf@xmu #参数n个点,返回线性方程参数a,b,y=ax+b import math def linear(points): a=10.0 b=1.0 learning_rate=1e-2 #loss=1/(2n)*sigmal(sqr(a*xi+b-yi)) #求loss对a,b的偏导,梯度下降法 while True: #求偏导 der_a=0.0 der_b=0.0 for xi,yi in points: der_a+=a*xi*xi+b*xi-xi*yi der_b+=a*xi+b-yi der_a/=len(points) der_b/=len(points) #学习 a-=learning_rate*der_a b-=learning_rate*der_b print("%f %f" %(a,b)) if math.fabs(der_a)<1e-7 and math.fabs(der_b)<1e-7: return a,b if __name__=="__main__": print(linear([(1,0),(2,1)]))#,(3,2),(0,1),(1,2),(2,3)]))
华为的比赛想试试线性回归,网上搜了下,发现怎么代码怎么长,还用到各种库。
干脆自己写一个。
梯度下降法实现,类似神经网络bp算法。
另外,此方法可能出现http://blog.csdn.net/vcvycy/article/details/79520163 这里的问题。
导致梯度下降法发散无法收敛:要么降低学习率,要么数据归一化。