逻辑回归的参数详解及属性

逻辑回归类中实现了二分类、一对多分类,多项式逻辑回归。

针对优化算法的解释如下:

“lbfgs”, “sag” 和 “newton-cg” solvers (求解器)只支持 L2 惩罚项,对某些高维数据收敛更快。这些求解器的参数 `multi_class`设为 “multinomial” 即可训练一个真正的多项式 logistic 回归 [5] ,其预测的概率比默认的 “one-vs-rest” 设定更为准确。

“sag” 求解器基于平均随机梯度下降算法(Stochastic Average Gradient descent) [6]。在大数据集上的表现更快,大数据集指样本量大且特征数多。

“saga” 求解器 [7] 是 “sag” 的一类变体,它支持非平滑(non-smooth)的 L1 正则选项 penalty="l1" 。因此对于稀疏多项式 logistic 回归 ,往往选用该求解器。

一言以蔽之,选用求解器可遵循如下规则:

Case Solver
L1正则 “liblinear” or “saga”
多项式损失(multinomial loss) “lbfgs”, “sag”, “saga” or “newton-cg”
大数据集(n_samples) “sag” or “saga”

“saga” 一般都是最佳的选择,但出于一些历史遗留原因默认的是 “liblinear” 。

对于大数据集,还可以用 SGDClassifier ,并使用对数损失(’log’ loss)

laogistic的属性

.decision_function(x)

.fit_transform(x,y)

.transform(x)

.score(x,y) 分类器的accury得分

猜你喜欢

转载自blog.csdn.net/nowfuture/article/details/82018259
今日推荐