《Interpretable machine learning》：https://christophm.github.io/interpretable-ml-book/logistic.html
1. 线性模型为什么不适用于分类
线性模型做分类时，训练权重的方法是在两点间插值，输出的是距点最近的超平面，并不是概率，因此不存在有意义的阈值将两类区分。
理解：想象用线性模型做一个猫狗分类，权重.*像素=猫/狗，计算出的值绝对不是概率，而是用到0，1的距离，判断是猫是狗。
上图为线性模型做分类时，阈值划分的问题。
上图为把线性模型的输出作为输入塞到logistic公式中，阈值就有效了。
逻辑回归公式。
2.解释性
为了观察当某个特征增加一个单位时，预测的结果（概率值，左边）有什么变化，将上图公式进行变形，简单推导得到：
如果直接把某个x改变1个单位，求差值，计算会很麻烦，结果也不直观，书中选择求改变前后的比值:
等价于：
比例变化为exp(βj)，这个值表示，某个特征改变一个单位后，新的概率是原来概率的多少倍，不是增加了多少。
对于四种不同类型的特征（ 《解释性机器学习》笔记（一））：理解线性回归模型中的权重、特征和结果），当特征值改变时，对应的权重β解释如下：
数值特征：x改变1个单位，概率改变exp（β）。
二值特征（0/1两类）：从一种类别到另一类，概率变化exp（β）。
范畴特征（多分类特征）：解释依赖编码方式，笔记（一）中简单介绍几种编码，解释方法和二值特征一样。
截距β0：模型解释通常和β0没啥关系。
3. 解释实例
下面是一个宫颈癌预测模型的参数、权重、概率比和标准差：
数值特征的解释(“Num”)：在其他特征不变的情况下，诊断出的性传播疾病数量增加，患癌症的几率比不患癌症的几率增加2.26倍。记住，相关性并不意味着因果关系。分类特征的解释(“激素类避孕药y/n”):对于使用激素类避孕药的女性，与未使用激素类避孕药的女性相比，在其他所有特征保持不变的情况下，患癌症比未患癌症的几率要低0.89倍。
4. 逻辑回归优缺点
原文：https://christophm.github.io/interpretable-ml-book/logistic.html
笔记：
缺点：
1.表达力受限，相关联的特征需手动添加。
2.解释更困难，权重的解释是以乘除的形式，而不是加减。
3.有完全发散的可能，假如存在一个特征可以完美分类结果（打比方，地上湿了=下雨，地上干的=没下雨，这种情况下，除了地面干湿情况，其他特征没啥用了），这个特征的权重就无法收敛，模型也无法训练。
解决：1. 都有这种特征了就不用训练模型了。 2. 增加权重的惩罚项。 3. 指定权重的先验概率分布，避免出现完美特征。
优点：
1.能计算概率。
2.能拓展到多分类问题。
.
