Kaggle入门Titanic生存预测 v1.0.0

目录标题

前言
问题定义
数据查看分析
数据处理
数据替换
将数据导入模型中进行训练
数据预处理
模型训练
测试集预测
总结
源码地址

前言

一直在学机器学习的理论知识,但是没有实践,还是感觉心里不踏实,Kaggle的入门比赛Titanic号生存预测是一个getting started competition,很适合入门,掌握机器学习的各种常见套路.这里刚开始也是参考其他代码做的,得分是0.78947,不是很高,由此可见,虽然是入门级的比赛,想要拿到好的成绩也是要下一番功夫的.

问题定义

生存预测,这是一个二分类问题,根据训练数据集上得到的模型(其实就是一组权重),去测试集上对其中的乘客,将其归类为活着(1)还是死亡(0).

数据查看分析

利用Pandas进行数据分析,用seaborn和matplotlib进行数据可视化,这样我们第一步对数据就有一个直观的认识,可以为后续的特征工程做好准备

使用dataframe的info()方法查看csv文件各列的情况 ，相比于直接去查看csv文件的内容,pandas的这个方法可以更直观的对文件各个特征有一个宏观的认识,打印出训练数据集文件的特征如下:
```
train.info()
```
<class ‘pandas.core.frame.DataFrame’>
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
PassengerId 891 non-null int64
Survived 891 non-null int64
Pclass 891 non-null int64
Name 891 non-null object
Sex 891 non-null object
Age 714 non-null float64
SibSp 891 non-null int64
Parch 891 non-null int64
Ticket 891 non-null object
Fare 891 non-null float64
Cabin 204 non-null object
Embarked 889 non-null object
dtypes: float64(2), int64(5), object(5)
memory usage: 83.6+ KB
由上可见,train.csv中共有891个乘客的信息,每个乘客有12个特征(属性),下面逐个对这些特征进行分析处理:
- PassengerId:用户id,每个乘客都有,对于最后的实际分析并没有帮助,后续要drop掉这一列.
- Survived:是否活下来,每个乘客都有,用以标记乘客是否最终存活.
- Pclass: 类似与头等舱,二等舱的这样一个概念
- Name: 乘客姓名,每个乘客都有,原先我以为Name没有什么用,可是有的针对这个进行了一下特征提取,抽取出来了Mr, Mrs, Miss, Master和Others5类,确实是有道理的,毕竟身份越高贵的活下来的几率越大
- Sex: 乘客性别,kaggle的示例提交文件中,认定所有女性乘客都活了下来,最后也有0.76555的准确率
- Age: 乘客年龄,注意只有714项,是存在缺失的,这里使用了对应类别均值填充的方法来补足.
- Sibsp:在船上的兄弟姐妹和配偶的数量
- Parch:在船上的父母和孩子的数量
- Ticket:票号
- Fare:船票的价格
- Cabin:乘客所在的船舱号,只有204项,缺失了很多
- Embarked:在那个地方上的船,注意缺了两项
在知晓数据情况后,使用dataframe.describe()方法查看各类的数学统计情况.

数据处理

针对"Name"特征的数据处理
使用seaborn的计数图,可视化Name和Survived之间的关系图:
可以看到Name的分布主要集中在"Mr", “Mrs”, "Miss"和"Master"这5类上,剩下的我们统一用"Others"来代替,可以写一个方法,再结合pandas的apply方法,对一列的数据进行直接应用.

# 对姓名的数据进行特征处理
def arrangename(name):
    if name == "Mr" or name == "Mrs" or name == "Miss" or name == "Master":
        return name
    else:
        return "Others"
        
# pandas的apply方法对dataframe的某一列进行操作,不必使用低效的循环
train["Name"] = train["Name"].apply(arrangename)
test["Name"] = test["Name"].apply(arrangename)

针对Age的数据进行处理
之前数据分析的时候已经看到了,Age列存在很多的缺失数据,往往我们对于缺失数据使用平均值进行填充,但这里由于已经根据Name将人群划分成了5类,所以可以进一步细化,在每个具体类别中用其平均值进行填充,先对Name和Age进行可视化,查看条状图:

下面对各个类别的缺失值进行平均值填充,对训练集和测试集都要进行同样的操作:

# pandas的loc方法的使用,填充缺失的Age值,数据预处理
#  这里采取的填充方式是平均值填充!这里的年龄填充不是所有人的年龄平均值,而是细化到对应类别后的一个平均值,这样更精细,效果更好
train.loc[(train["Name"]=="Mr")&(train["Age"].isnull()), "Age"] = train.loc[train["Name"]=="Mr","Age"].mean()
train.loc[(train["Name"]=="Mrs")&(train["Age"].isnull()), "Age"] = train.loc[train["Name"]=="Mrs","Age"].mean()
train.loc[(train["Name"]=="Miss")&(train["Age"].isnull()), "Age"] = train.loc[train["Name"]=="Miss","Age"].mean()
train.loc[(train["Name"]=="Master")&(train["Age"].isnull()), "Age"] = train.loc[train["Name"]=="Master","Age"].mean()
train.loc[(train["Name"]=="Others")&(train["Age"].isnull()), "Age"] = train["Age"].mean()

# 对测试数据集做同样的处理
test.loc[(test["Name"]=="Mr")&(test["Age"].isnull()), "Age"] = train.loc[train["Name"]=="Mr","Age"].mean()
test.loc[(test["Name"]=="Mrs")&(test["Age"].isnull()), "Age"] = train.loc[train["Name"]=="Mrs","Age"].mean()
test.loc[(test["Name"]=="Miss")&(test["Age"].isnull()), "Age"] = train.loc[train["Name"]=="Miss","Age"].mean()
test.loc[(test["Name"]=="Master")&(test["Age"].isnull()), "Age"] = train.loc[train["Name"]=="Master","Age"].mean()
test.loc[(test["Name"]=="Others")&(test["Age"].isnull()), "Age"] = train["Age"].mean()

针对Fare数据
注意:train中的Fare数据是没有缺失的,但是test中确实有缺失的,这里使用fillna方法直接将train中的Fare平均值填充到test的缺失项中.

# using the fillna method to replace the nan with specific value
test['Fare'].fillna(train['Fare'].mean(), inplace=True)

针对Cabin数据进行处理
查看都有那些船舱:

可以看到,我们只需要提取首字母就行,代码如下:

# 当一个字符串使用了正则表达式后,最好在前面加上r
# str.extract()，可用正则从字符数据中抽取匹配的数据，只返回第一个匹配的数据。
# 先查看数据是什么样子的,然后用正则表达式进行筛选,只需要知道船舱等级(A~Z)的值就够了, 不需要知道具体位置
train['Cabin'] = train['Cabin'].str.extract(r"([A-Z])")
test['Cabin'] = test['Cabin'].str.extract(r"([A-Z])")

下面可视化"Cabin"与"Survived"之间的计数图:
在这里插入图片描述
由图可见,在以"B", “C”, “D”, "E"开头的船舱中乘客存活率较高,具体用0, 1数字表示,代码如下:

def cabin2int(cabin):
    if cabin == 'B' or cabin == 'C' or cabin == 'D' or cabin == 'E':
        return 1
    else:
        return 0
train['Cabin'] = train['Cabin'].apply(cabin2int)
test['Cabin'] = test['Cabin'].apply(cabin2int)

针对"Embarked"进行处理
注意:Embarked是有缺失值的,但因为其不是数字型数据,不能使用平均值填充,这里使用出现最频繁的值进行填充
针对PassengerId进行的操作:
PassengerId没有实际意义,因此可以就地删除掉

#  原始数据中的passengerId没有什么用,删除掉
train.drop('PassengerId', axis=1, inplace=True)

数据替换

因为Name已经用"Mr", “Mrs”, “Miss”, "Master"和"Others"替换了,所以使用one-hot进行编码:

# 使用get_dummies可以进行one-hot编码,独热编码之后相当与将之前的name列换成了Mr, MISS, MRS, Master, Others5列
tmp = pd.get_dummies(train["Name"])
train.drop("Name", axis=1, inplace=True)
train = pd.concat((train, tmp), axis=1)
train.drop(['Others'], axis=1, inplace=True)

tmp = pd.get_dummies(test['Name'])
test.drop("Name", axis=1, inplace=True)
test = pd.concat((test, tmp), axis=1)
test.drop(['Others'], axis=1, inplace=True)

针对sex的数据替换,用0表示男性,1表示女性:

# 针对Series用replace进行单值替换
train['Sex'].replace({'male':0, 'female':1}, inplace=True)
test['Sex'].replace({'male':0, 'female':1}, inplace=True)

针对Embarked进行数据替换

因为可视化效果中S对应的Embarked值比较高,所以将"C"和"Q"看做一类,"S"看做另一类进行0,1替换:

train.replace({"S":0, "C":1, "Q":1}, inplace=True)
test.replace({"S":0, "C":1, "Q":1}, inplace=True)

将数据导入模型中进行训练

构造出训练数据集(X_train, y_train),构造测试集test

# 训练数据将数据和对应标签分开存放,掌握这个技巧
X_train = train.drop("Survived", axis=1)
columns = X_train.columns
y_train = train["Survived"]
# 测试集
Id = test["PassengerId"]
test = test.drop("PassengerId", axis=1)

数据预处理

from sklearn.preprocessing import StandardScaler

# StandardScaler的作用：去均值和方差归一化。且是针对每一个特征维度来做的，而不是针对样本。 
std = StandardScaler()
X_train = std.fit_transform(X_train)
test = std.transform(test)

模型训练

进行数据切分，按照1:4的比例将训练数据集，切分为训练集和验证集

from sklearn.model_selection import  train_test_split

# 进行数据集切分, 验证集的数据量占五分之一
X_train, X_valid, y_train, y_valid = train_test_split(X_train, y_train, test_size=0.2, random_state=0)

定义一个统一的方法来进行模型的训练

def modeling(params, estimator):
    """
    利用Python的语法特性,传过来的是分类器和对应的参数,这样一个函数就可以用来对多个模型进行测试了!!!
    GridSearchCV，它存在的意义就是自动调参，只要把参数输进去，就能给出最优化的结果和参数。但是这个方法
    适合于小数据集
    """
    grid = GridSearchCV(estimator, params, scoring="accuracy", n_jobs=-1)
    grid.fit(X_train, y_train)
    
    clf = grid.best_estimator_
    clf.fit(X_train, y_train)
    predict = clf.predict(X_valid)
    accuracy = accuracy_score(y_valid, predict)
    print("paramater:", grid.best_params_)
    print("accuracy:", accuracy)
    
    return accuracy, grid.best_estimator_

选用合适的模型去训练
1 . 使用随机森林去训练

params = {
    "n_estimators": [5, 10, 20, 25],
    "max_depth": [3, 5, 7, 9, None],
    "max_features": ['auto', 'sqrt', 'log2', None]
}
rfc_accuracy, rfc_clf = modeling(params, RandomForestClassifier())
importance = pd.DataFrame({"feature": columns, "importance": rfc_clf.feature_importances_})
importance.sort_values(by="importance", ascending=False)

2. 使用SVM分类器去训练

params = {
    "C": [0.5, 1.0, 1.5],
    "gamma": [0.01, 0.05, 0.1],
    "probability": [True]
}

svc_accuracy, svc_clf = modeling(params, SVC())

3. 使用逻辑回归

# 使用logistic regression
params = {
    "C": [0.1, 1, 10],
    "max_iter": [50, 100, 200]
}
# 使用逻辑回归
lr_accuracy, lr_clf = modeling(params, LogisticRegression())

4. 使用knn分类器

# 使用knn分类器
params = {
    "n_neighbors": [2, 3, 4, 5, 10, 15],
    "leaf_size": [20, 30, 50],
    "weights": ["uniform", "distance"],
    "algorithm": ["auto", "ball_tree", "kd_tree"]
}
# 传入的param是一个字典
knc_accuracy, knc_clf = modeling(params, KNeighborsClassifier())

5. 使用高斯分布

# 使用高斯分布
params = {}

gnb_accuracy, gnb_clf = modeling(params, GaussianNB())

6. 使用lsvc分类器

# 使用lsvc分类器
params = {"C": [0.005, 0.01, 0.5, 1.0]}
lsvc_accuracy, lsvc_clf = modeling(params, LinearSVC())

针对上述的模型进行实际效果测试，选出准确率最高的分类器

accuracy = pd.DataFrame(
    {
        "model":["RandomForestClassifer", "SVC", "LogisticRegression", "KNeighborsClassifier", "GaussianNB", "LinearSVC"],
        "accuracy": [rfc_accuracy, svc_accuracy, lr_accuracy, knc_accuracy, gnb_accuracy, lsvc_accuracy]
    })
# 对于多个模型的性能进行比较
# 掌握这种dataframe的排序方法
accuracy.sort_values(by="accuracy", ascending=False)

在这里插入图片描述

测试集预测

从上面各个模型的效果来看，在验证集上，knn的效果最好，所以用knn在训练数据集上进行训练并在测试数据集上进行预测，得到knc_submission.csv后，提交得到0.78947的分数．不过，我又用其他几个模型试了一些，发现SVC的效果更好，分数达到了0.79

# 因为KNeighboursClassifier的效果最好,使用这个模型来做
knc_clf.fit(X_train, y_train)
submission_predictions = knc_clf.predict(test)
submission = pd.DataFrame({"PassengerId":Id, "Survived": submission_predictions})
# 使用to_csv方法直接写回到csv文件中!!
# index=False是为了不保留行索引,默认index值为True,是保留行索引的,但是提交的数据不需要!
submission.to_csv("knc_submission.csv", index=False)

总结

这一系列分析做下来，虽然最终得分一般，但还是学到了一些套路的，现总结如下：

pandas不愧是数据分析神器，要好好的加以利用，善用info(), describe(), values_count()等方法来对数据有一个宏观的认识．
对于缺失的数据，要进行数据填充，如平均值填充, 最大值填充，最好是用细化到最小单位的类别去填充，这样效果更好．
seaborn, matplotlib等可视化工具对于刻画特征列与目标列（如这里的＂survived"）之间的关系很有帮助，可以直观的进行分析，从而对数据进行归类
掌握其中使用多个模型的预测方法

源码地址

源码和提交csv文件已放到github上，点此访问