文章目录
数据预处理 (判定贷款用户是否逾期)
给定金融数据，预测贷款用户是否会逾期。
（status是标签：0表示未逾期，1表示逾期。）
Task5（特征工程1 - 数据预处理） - 数据类型转换, 无用特征删除, 缺失值处理（尝试不同的填充看效果）及数据探索
import numpy as np
import pandas as pd
# 数据集预览
data = pd.read_csv('data.csv')
data.drop_duplicates(inplace=True) # 去重
y = data.status
X = data.drop('status', axis=1)
# 观测正负样本是否均衡
y.value_counts()
# 观察变量类型
set(X.dtypes) # 输出: {dtype('int64'), dtype('float64'), dtype('O')}
1. 删除无用特征
删除原则
1）属性值单一的特征;
2）观测特征取值以及label意义, 挑选和预测无关的特征
1）属性值单一的特征 - ‘bank_card_no’,'source’的取值无区分度
for col in X.columns:
if len(X[col].unique()) == 1:
print(col, X[col].unique())
X.drop(col, axis = 1, inplace = True)
输出：
bank_card_no [‘卡号1’]
source [‘xs’]
2）观测特征取值以及label意义, 是否和预测无关 - ‘Unnamed: 0’, ‘custid’, 'trade_no’和id_name’与预测无关
for col in X.columns:
cnt = X[col].count() # 没有统计缺失值
if len(list(X[col].unique())) in [cnt, cnt+1]:
print(col)
# X['Unnamed: 0']
# X['custid']
# X['trade_no]
# X['id_name'].value_counts()
X.drop(['Unnamed: 0', 'custid', 'trade_no', 'id_name'], axis=1, inplace=True)
2. 数据格式化 - X_date
（此处主要针对时间特征, 且此处时间特征仅包含日期特征）
日期特征处理流程
1）浮点型日期转换成字符串型
2）取出日期，构建年份、月份、周几等特征
3）进一步（特征构建）：groupby对特征进行统计分析
dateFeatures = ['first_transaction_time', 'latest_query_time', 'loans_latest_time']
X_date = X[dateFeatures]
1）浮点型日期转换成字符串型
# 首先填充缺失值
X_date['first_transaction_time'].fillna(X_date['first_transaction_time'].median(), inplace = True)
# 转成字符串型日期
X_date['first_transaction_time'] = X_date['first_transaction_time'].apply(lambda x:str(x)[:4] + '-' + str(x)[4:6] + '-' + str(x)[6:8])
2） 提取特征：年份、月份、星期几
X_date['first_transaction_time_year'] = pd.to_datetime(X_date['first_transaction_time']).dt.year
X_date['first_transaction_time_month'] = pd.to_datetime(X_date['first_transaction_time']).dt.month
X_date['first_transaction_time_weekday'] = pd.to_datetime(X_date['first_transaction_time']).dt.weekday
X_date['latest_query_time_year'] = pd.to_datetime(X_date['latest_query_time']).dt.year
X_date['latest_query_time_month'] = pd.to_datetime(X_date['latest_query_time']).dt.month
X_date['latest_query_time_weekday'] = pd.to_datetime(X_date['latest_query_time']).dt.weekday
X_date['loans_latest_time_year'] = pd.to_datetime(X_date['loans_latest_time']).dt.year
X_date['loans_latest_time_month'] = pd.to_datetime(X_date['loans_latest_time']).dt.month
X_date['loans_latest_time_weekday'] = pd.to_datetime(X_date['loans_latest_time']).dt.weekday
# 填充缺失值
X_date['latest_query_time_year'].fillna(X_date['latest_query_time_year'].median(), inplace = True)
X_date['latest_query_time_month'].fillna(X_date['latest_query_time_month'].median(), inplace = True)
X_date['latest_query_time_weekday'].fillna(X_date['latest_query_time_weekday'].median(), inplace = True)
X_date['loans_latest_time_year'].fillna(X_date['loans_latest_time_year'].median(), inplace = True)
X_date['loans_latest_time_month'].fillna(X_date['loans_latest_time_month'].median(), inplace = True)
X_date['loans_latest_time_weekday'].fillna(X_date['loans_latest_time_weekday'].median(), inplace = True)
X_date.drop(dateFeatures, axis = 1, inplace=True)
3. 数据处理 - 类别特征 X_cate
1）字符型类别特征编码
2）缺失值填充
3）类别特征Label与One-Hot编码
类别特征缺失值填充常用方法：分箱处理（单独填充为一个类别）、众数填充
# 观察取值和属性名称, 挑选类别特征
for col in X:
cnt = len(X[col].unique())
if cnt < 15:
print(col, cnt, X[col].unique())
输出
regional_mobility 6 [ 3. 4. 1. 2. 5. nan]
student_feature 3 [nan 1. 2.]
is_high_user 2 [0 1]
avg_consume_less_12_valid_month 13 [ 7. 5. 6. 8. 9. 3. 4. 11. 10. 0. 2. 1. nan]
top_trans_count_last_1_month 9 [0.15 0.05 0.65 1. 0.1 0.3 0.4 0.2 nan]
reg_preference_for_trad 6 [‘一线城市’ ‘三线城市’ ‘境外’ ‘二线城市’ ‘其他城市’ nan]
railway_consume_count_last_12_month 7 [ 0. 1. 2. 4. nan 3. 30.]
jewelry_consume_count_last_6_month 8 [ 0. 1. nan 2. 6. 3. 4. 5.]
categoryFeatures = ['regional_mobility', 'student_feature', 'is_high_user', 'avg_consume_less_12_valid_month', 'reg_preference_for_trad']
X_cate = X[categoryFeatures]
1）字符型类别特征编码
dic = {}
for i, val in enumerate(list(X_cate['reg_preference_for_trad'].unique())):
dic[val] = i
X_cate['reg_preference_for_trad'] = X_cate['reg_preference_for_trad'].map(dic)
2）缺失值填充：单独填充为一个类别/众数填充
student_feature 缺失占比一般以上, 将其缺失值单独填充为1个类别（用-1填充）。
X_cate['student_feature'].value_counts()
X_cate['student_feature'].fillna(-1, inplace = True)
其他特征缺失值数目较少, 考虑用众数填充
for col in X_cate.columns:
summ = X_cate[col].isnull().sum()
if summ:
X_cate[col].fillna(X_cate[col].mode()[0], inplace = True)
3）类别特征Label与One-Hot编码
| 编码方法 | 介绍 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| label encoding | 将类别变量中每一类别赋一数值，从而转换成数值型 | 略 | 赋值没有数值意义 | |
| One-hot encoding | 它的值只有0/1，不同的类型存储在垂直的空间 | xx | 当类别的数量很多时，特征空间会变得非常大 | ①除了树模型都要One-hot,因为label没有数值意义 |
4. 数据处理 - 其他非数值型特征
此处没有额外的待处理非数字型特征 ~
X_str = X.select_dtypes(include=['O']).copy()
X_str.head()
5. 数据处理 - 数值型特征 X_num
1）缺失值处理
2）去掉取值变化小的特征：统计各个列标准差，将标准差小于0.1的特征剔除
连续特征缺失值填充常用方法：中位数填充，平均数一般不用的(均值受极端值影响太大)。
X_num = X.select_dtypes(exclude=['O']).copy()
for col in X_num.columns:
if col in dateFeatures + categoryFeatures:
print(col)
X_num.drop(col, axis = 1, inplace = True)
1）缺失值处理
主要填充方法采用众数、中位数和模型填充等，平均数一般不用的(均值受极端值影响太大)。
# 统计各列缺失值的比例
col_missing = {}
for col in X_num.columns:
summ = X_num[col].isnull().sum()
if summ:
col_missing[col] = float('%.4f'%(summ*100/len(data)))
col_missing = sorted(col_missing.items(), key = lambda d:-d[1])
for col, rate in col_missing[:10]:
print(rate, '%', col)
缺失特征用中位数填充。
for col in X_num.columns:
summ = X_num[col].isnull().sum()
if summ:
X_num[col].fillna(X_num[col].median(), inplace = True)
2）去掉取值变化小的特征
for col in X_num.columns:
rate = X_num[col].std()
if rate < 0.1:
print(col, rate)
X_num.drop(col, axis = 1, inplace = True)
3） 归一化（此处只是示例，代码部分没有实际运行）
归一化, 可以加快梯度下降求最优解的速度, 也有利于提高精度
# 最大最小归一化
# X_num = X_num.apply(lambda x: (x - np.min(x)) / (np.max(x) - np.min(x)))
6. 特征拼接与存储
X = pd.concat([X_date, X_cate, X_num], axis=1)
import pickle
with open('feature.pkl', 'wb') as f:
pickle.dump(X, f)
遇到的问题
特征数目和行数相同, 肯定和预测无关吗？ 如果是属于类似连续型特征呢？
Reference
1）特征工程处理
2）数据分析工具之Python大法（一）
3）机器学习-Label Encoding与One Hot的区别-20180513
More
代码参见Github: https://github.com/libihan/Exercise-ML