ML之LoR：基于泰坦尼克号数据集分别利用Platt校准和等距回归校准算法实现概率校准进而提高二元分类模型的预测准确性(模型提效)应用案例
目录
基于泰坦尼克号数据集分别利用Platt校准和等距回归校准算法实现概率校准进而提高二元分类模型的预测准确性(模型提效)应用案例
扫描二维码关注公众号，回复：
15094923 查看本文章
# T1、利用Platt校准概率后模型评估：5折交叉验证+使用sigmoid函数校准概率，来预测出未校准的概率
# 计算Brier分数：计算经过Platt校准后的概率的Brier得分。Brier得分是一种评估二元分类器概率预测准确性的指标，它度量了预测的概率与真实标签之间的距离。
# 绘制Calibration Curve：真实的正例概率、预测的正例概率
# T2、基于Platt校准再利用等距回归概率校准后模型评估：对校准后的概率结果进行等距回归
相关文章
ML之LoR：基于泰坦尼克号数据集分别利用Platt校准和等距回归校准算法实现概率校准进而提高二元分类模型的预测准确性(模型提效)应用案例
ML之LoR：基于泰坦尼克号数据集分别利用Platt校准和等距回归校准算法实现概率校准进而提高二元分类模型的预测准确性(模型提效)应用案例实现代码
基于泰坦尼克号数据集分别利用Platt校准和等距回归校准算法实现概率校准进而提高二元分类模型的预测准确性(模型提效)应用案例
# 1、定义数据集
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 PassengerId 891 non-null int64
1 Survived 891 non-null int64
2 Pclass 891 non-null int64
3 Name 891 non-null object
4 Sex 891 non-null object
5 Age 714 non-null float64
6 SibSp 891 non-null int64
7 Parch 891 non-null int64
8 Ticket 891 non-null object
9 Fare 891 non-null float64
10 Cabin 204 non-null object
11 Embarked 889 non-null object
dtypes: float64(2), int64(5), object(5)
memory usage: 83.7+ KB
None
PassengerId Survived Pclass ... Fare Cabin Embarked
0 1 0 3 ... 7.2500 NaN S
1 2 1 1 ... 71.2833 C85 C
2 3 1 3 ... 7.9250 NaN S
3 4 1 1 ... 53.1000 C123 S
4 5 0 3 ... 8.0500 NaN S
[5 rows x 12 columns]
# 2、数据预处理/特征工程
# 2.1、缺失值填充
# 2.2、定义入模特征
after featuresIN………………………………………………
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 6 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 Survived 891 non-null int64
1 Pclass 891 non-null int64
2 Age 891 non-null float64
3 Fare 891 non-null float64
4 Sex 891 non-null object
5 Embarked 889 non-null object
dtypes: float64(2), int64(2), object(2)
memory usage: 41.9+ KB
None# 2.3、特征类型划分
cat_cols 2 ['Sex', 'Embarked']# 2.4、特征编码
# T1、独热编码
after get_dummies………………………………………………
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 9 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 Survived 891 non-null int64
1 Pclass 891 non-null int64
2 Age 891 non-null float64
3 Fare 891 non-null float64
4 Sex_female 891 non-null uint8
5 Sex_male 891 non-null uint8
6 Embarked_C 891 non-null uint8
7 Embarked_Q 891 non-null uint8
8 Embarked_S 891 non-null uint8
dtypes: float64(2), int64(2), uint8(5)
memory usage: 32.3 KB# 2.5、分离特征与标签
# 3、模型训练与评估
# 3.1、切分训练集和测试集
# 3.2、建立模型
# 3.3、模型训练并评估
# T0、直接使用LoR模型评估
auc_scor: 0.8582990750256937
f1_scor: 0.7317073170731706# T1、利用Platt校准概率后模型评估：5折交叉验证+使用sigmoid函数校准概率，来预测出未校准的概率
# 计算AUC和F1
Platt Calibration:
auc_Platt: 0.8606971565604659
f1_Platt: 0.7195121951219512
# 利用Platt校准方法校准概率并绘制校准曲线
# 计算Brier分数：计算经过Platt校准后的概率的Brier得分。Brier得分是一种评估二元分类器概率预测准确性的指标，它度量了预测的概率与真实标签之间的距离。
# 绘制Calibration Curve：真实的正例概率、预测的正例概率
# 将概率分为10个区间
# T2、基于Platt校准再利用等距回归概率校准后模型评估：对校准后的概率结果进行等距回归
# 校准概率
# 计算AUC和F1
Isotonic Regression:
auc_Iso: 0.8810808496060294
f1_Iso: 0.7631578947368423# 计算Brier分数
# 绘制Calibration Curve
# 如果模型预测的概率与真实概率完全吻合，则曲线应该是一条45度直线。通过比较校准曲线与理想曲线，可以直观地评估模型的校准效果。