python之sklearn-特征工程-1.5 特征降维

一，什么是主成分分析(PCA)

• 定义：高维数据转化为低维数据的过程， 在此过程中可能会舍弃原有数据、创造新的变量
• 作用：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。
• 应用：回归分析或者聚类分析当中

二，主成分分析(PCA)的理解

将这个二维的数据简化成一维，并且损失少量的信息。

三，API

• sklearn.decomposition.PCA(n_components=None)
  • 将数据分解为较低维数空间
  • n_components:
    • 小数：表示保留百分之多少的信息
    • 整数：减少到多少特征
  • PCA.fit_transform(X) X:numpy array格式的数据[n_samples,n_features]
  • 返回值：转换后指定维度的array

四，实例

from sklearn.decomposition import PCA
def pca():
    """ 主成分分析进行降维 """
    pca = PCA(n_components=0.99)
    data = pca.fit_transform([[200,8,4,5],[600,3,0,8],[500,4,9,1]])
    print(data)
    return None

if __name__ == "__main__":
    pca()

五，网络实例

数据如下：

• products.csv：商品信息
  • 字段：product_id, product_name, aisle_id, department_id
• order_products__prior.csv：订单与商品信息
  • 字段：order_id, product_id, add_to_cart_order, reordered
• orders.csv：用户的订单信息
  • 字段：order_id,user_id, eval_set,order_number,….
• aisles.csv：商品所属具体物品类别
  • 字段： aisle_id, aisle

1，需求

2，分析

• 合并表，使得user_id与aisle在一张表当中
• 进行交叉表变换
• 进行降维

3，完整代码

# 去读四张表的数据
prior = pd.read_csv("./data/instacart/order_products__prior.csv")
products = pd.read_csv("./data/instacart/products.csv")
orders = pd.read_csv("./data/instacart/orders.csv")
aisles = pd.read_csv("./data/instacart/aisles.csv")

# 合并四张表
mt = pd.merge(prior, products, on=['product_id', 'product_id'])
mt1 = pd.merge(mt, orders, on=['order_id', 'order_id'])
mt2 = pd.merge(mt1, aisles, on=['aisle_id', 'aisle_id'])

# pd.crosstab 统计用户与物品之间的次数关系（统计次数）
cross = pd.crosstab(mt2['user_id'], mt2['aisle'])

# PCA进行主成分分析
pc = PCA(n_components=0.95)
data = pc.fit_transform(cross)