7.5非线性回归:Logistic Regretion

1.概率：

    1.1 定义：概率（probability）是对一件事情发生的可能性的衡量

    1.2 范围：0 <= p <= 1

    1.3 计算方法：

          1.3.1 根据个人置信

          1.3.2 根据历史数据

          1.3.3 根据模拟数据

   1.4  条件概率：

                        

2.Logistic Regretion(逻辑回归)

   2.1 例子

                                   h(x) > 0.5

                                h(x) > 0.2

   2.2 基本模型

         测试数据为X（x0,x1,x2,...,xn）

        要学习的参数为：

        

       向量表示：

       处理二值数据，引入Sigmoid函数使曲线平滑化

     预测函数：

   用概率表示：

   正例（y = 1）:

  反例（y = 0）:

 2.3 Cost函数

       线性回归：

 

Logistic Regretion:

Cost函数：

我们的目标：通过所有的数据训练并学习出来一组的值，使目标函数J（）的值最小化

2.4 解法：梯度下降（gradient decent）

      

更新法则：

学习率

同时对所有的进行更新

重复更新直到收敛