模型描述
我们以房子的面积和价格为例,建立一个模型,其中房子的大小我们称之为自变量x,预估的价格为y,从房子的大小到房子价格的映射我们称之为h。h(x)就是预测y关于x的线性函数。(单变量线性回归)
代价函数
再线性回归中,我们想要假设函数h(x)表示的直线与数据点能够更好的拟合,所以我们引入了代价函数。该例子中代价函数就是训练值中预测值和真实值的差的平方。
为了让代价函数变小,我们期望能找到使训练集中预测值和真实值的差的平方的和的1/2m最小的A0和A1.(选用1/2m是为了后续的计算方便求导,参数因为不知道怎么打字出来用A代替)
梯度下降
那我们找到了代价函数我们应该怎样最小化代价函数呢?接下来我们就选择梯度下降的方式。
我们要同时更新参数A0和A1,式子中的阿尔法是用来控制我们用多大的幅度来更新参数A0和A1。阿尔法太小,梯度的下降就会很慢,要走很多步才达到全局最低点;阿尔法太大,会导致无法收敛甚至会造成发散。与此同时我们的导数部分,但接近局部最低的时候,导数值会越来越小,梯度下降就会自动的采取较小的幅度。
害,这几节课听了一周(中途放假回家了)感觉整理得不是很好,慢慢来吧。