逻辑回归中包含了正向传播和反向传播,用一个计算图来表示其过程
计算图:
举一个简单的例子例:
把j(a,b,c)看作logistic回归成本函数j=3(a+bc),它的计算过程为让u=bc,v=a+u 得j=3v
其中正向传播为从左到右得到成本函数的过程
反向传播为对其进行求导得到dJ/da,dJ/db,dJ/dc
现在对一个逻辑回归进行梯度计算:
给定的逻辑回归中,Loss Function 表达式如下:
对于正向传播非常简单,假设输入样本x有两个特征值(x1,x2)则对应的w为w1,w2,则对应的最后的Loss Fuction如下:
对于反向传播计算如下:
得到dz以后就可以对w1,w2进行求导了
则梯度下降算法为
