机器学习特征工程之皮尔森相关系数 pearson correlation of features

示例图:

皮尔森相关系数为了确定 每个特征之间是否紧密相关,如果很相关就属于重复特征,可以去除。 我们输入机器学习模型中的每个特征都独一无二,这才是最佳。

python实现代码

import seaborn as sns #图表模块

import matplotlib.pyplot as plt #绘图模块库

colormap = plt.cm.RdBu # 绘图库中的颜色查找表。比如A1是红色,A2是浅蓝色。 这样一种映射关系

plt.figure(figsize=(14,12))#创建一个新的图表,参数是尺寸,单位为英寸。

plt.title('Pearson Correlation of Features', y=1.05, size=15) #给图表一个标题~~ 

sns.heatmap(train.astype(float).corr(),linewidths=0.1,vmax=1.0,square=True, cmap=colormap, linecolor='white', annot=True) #将皮尔森系数值画成图表形式。

代码解释:

    这里的train.astype(float).corr()    中的train 是python pandas模块中DateFrame结构,这里存储着的是机器学习模型的训练数据,   然后通过.corr()求皮尔森相关系数方法,计算出相关系数。

corr()是correlation的缩写,中文意思为相关。

算法底层原理:

皮尔森系数公式为:

cov(X,Y) 是求X数组和Y数组的协方差。

协方差公式为:

当协方差值>0时,表明两个数组正相关

当协方差值=0时,表明两个数不相关

当协方差值<0时,表明两个数组负相关。

回到皮尔森相关系数,现在我们已经知道了 协方差计算出了 相关性,但是只知相关性,而无法度量它强和弱, 

如何度量强和弱呢?

        这是用协方差/(X数组的标准差*Y数组的标准差),

这个公式的作者是否从余弦距离得到的启发呢?如下图

最终我们计算出了-1 到 1 的取值结果。

公式求的值对应下面图表(省略了x轴和y轴,自行脑补。。),例如1和-1 他们就是线性相关,一个是正相关,一个负相关,而0就是没有任何关系的

这样我们就求得了两个数组之间的关系程度,排除强相关特征,降低机器学习数据维度,从而得到更好的模型。 

——————————————————————————————————

猜你喜欢

转载自blog.csdn.net/CreateABetter/article/details/81540957
今日推荐