机器学习-特征降维
1 降维--降低维度
1.1 维度:在numpy中ndarray中学习过二维数组,在list列表中学习过二维,三维列表
1.2 维数:嵌套的层数
1.3 特征降维
降的不是嵌套的层数,降的是特征值的个数,就是列数
1.4 降维定义
降维是指在某些限定条件下,降低随机变量(特征值)的个数,得到一组不相关的主变量的过程
1.5 效果
特征与特征之间不相关
相关:比如说相对湿度和降雨量具有相关关系,如果说一组数据中的相关变量太多的话会造成数据的冗余
正是因为在训练的时候,我们都是使用特征进行学习,如果特征本身存在问题或者特征之间的相关性较强,对于算法学习预测会影响较大
2 降维的方式
2.1 特征选择
2.2 主成分分析
2.1 特征选择
2.1.1 定义
数据中包含冗余或者相关变量(或特征值,属性,指标等等),旨在从原有特征中找出主要特征
2.1.2 举例说明
例如:想要识别一直鸟属于哪个类别
分析依据:羽毛颜色\眼睛宽度\眼睛长度\爪子长度\体格大小等等
2.1.3 如何用数学的方法找出相关的变量或者特征
(1) filter(过滤式):主要探究特征本身的特点,特征与特征和目标值之间的关联
方差选择法:低方差过滤特征
相关系数:相关系数就是衡量特征与特征呢个之间的相关程度
(2) embedded(嵌入式)
决策树
正则化
深度学习
2.1.4 过滤式
(1) 低方差特征过滤:删除低方差的一些特征
* 特征方差小:某个特征大多样本的值比较相近(没有意义去掉)
* 特征方差大:某个特征很多样本的值有差别(保留下来)
(2) API
sklearn.feature_selection.VarianceThreshold(threshold=0.0)
返回值:训练集差异低于threshold的特征将被删除,默认值是保留所有非0方差特征,即删除样本中具有相同值的特征
2.1.5 相关系数
除了过滤掉不相关的特征,还要得到一组"不相关"主变量的过程
(1) 相关系数怎么求?
皮尔逊相关系数(pearson Correction Coefficent)
映射变量间相关关系的密切程度的指标
(2) 计算公式
(3) 相关系数的特点
相关系数介于-1~+1之间,其性质如下:
当r >0时:表示正相关,当r<0时表示负相关
当r=0时,表示无相关关系,当|r|=1时,表示完全相关
当|r|越接近于1,表示两变量相关关系越密切
当|r|越接近于0,表示两变量相关关系越弱
一般可以分为三个等级:
|r| <0.4:为低相关
0.4 <= |r| <= 0.7:表示显著相关
0.7 < |r| < 1:为高度相关
(4) API
from scipy.stats import pearsnr
2.1.6 特征值与特征值之间的相关性很高怎么办?
(1) 选取其中一个作为分析的特征值
(2) 加权求和(每个特征值都占用一定的比例)
(3) 主成分分析
2.1.7 主成分分析
(1) 定义:高维数据化为低维数据的过程,在此过程中会舍弃原有数据,创造一个新的变量
(2) 作用:作用是压缩数据,尽可能降低原有数据维数(复杂度),损失少量信息
(3) 应用:回归分析或者聚类分析当中
(4) 举例说明
(5) API
sklearn.decomsition.PCA(n_componets=None)
n_componets在传参数时,不同格式的信息代表的意义不同
小数:表示保留百分多少的信息
整数:表示减少到多少特征值
数据集的下载地址为:
特征降维的数据集:factor_returns.csv
import pandas as pd
from sklearn.feature_selection import VarianceThreshold
from scipy.stats import pearsonr
from sklearn.decomposition import PCA
def cariance_demo():
"""
过滤低方差特征
:return: None
"""
# 获取数据
data = pd.read_csv('./datas/factor_returns.csv')
# print('data\n',data,data.shape)
data = data.iloc[:,1:-2]
# print('data\n',data)
# 实例化一个转换器类
transfer = VarianceThreshold(threshold=10)
# 调用fit_transform
data_new = transfer.fit_transform(data)
# print('data_new\n',data_new,data_new.shape)
# 计算两个变量之间的相关洗漱
r = pearsonr(data['pe_ratio'],data['pb_ratio'])
print('相关系数\n',r)
return None
def pca_demo():
"""
PCA降维
:return: None
"""
data = [[2, 8, 4, 5], [6, 3, 0, 8], [5, 4, 9, 1]]
# 实例化一个转换器类
transfer = PCA(n_components=2)
# 调用fit_transform
data_new = transfer.fit_transform(data)
print('data_new\n', data_new)
return None
if __name__ == "__main__":
pca_demo()