NLP(14):Logistic Regression

Logistic Regression

1、使用情况，分类问题

• 贷款违约
• 广告点击
• 商品推荐
• 情感分析
• 疾病诊断

核心：找到特征到标签的映射关系

2、使用sigmoid函数将线性回归的输出值映射到(0,1)区间

逻辑回归是线性的：决策边界为线性的。

在决策边界上的任意点，既可以属于左边的分类也可以属于右边的分类

3、逻辑回归的目标函数

加入log：避免overflow和underflow

Minimizing the Function

4、Gradient Descent

Gradient Descent for logistic regression

SGD

当给定的数据线性可分的时候，逻辑回归的参数会趋向于正无穷

线性可分时：损失函数为0，根据损失函数的定义，此时$\theta (z)$函数的值为1，即指数项为0，即w参数趋近于正无穷。