吴恩达——机器学习(逻辑回归的前世今生)

之前只知道逻辑回归的方法却不明白为什么要这么做，为什么可以代表取1的概率。在看了吴大神的机器学习课程第四课之后恍然大悟。

首先引入伯努利分布：    参数代表y取值为1的概率，改变参数的值可以得到不同的关于y的分布。伯努利分布与高斯分布同属于指数分布族，所以在给定a,b,t的情况下，y的概率分布可以表示为：

其中：为分布的自然参数；T(y)是充分统计量，通常T(y)=y

将伯努利分布表示为上式形式：

则b(y)=1,   ,   T(y)=y,     

假设：（1）

           （2）给定x，输出E[T(y)|x]

           （3）

对于伯努利分布，有：

正则响应函数：

正则关联函数：：

由LR推广得到的softmax regression用于解决多项式分布问题，将在下一部分中介绍。