1.scikit-learn数据集API介绍
·sklearn.datasets 加载获取流行数据集
datasets.load_*() 获取小规模数据集，数据集包含在datasets里
datasets.fetch_*() 获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目录，
默认~/scikit_learn_data/
2.sklearn小数据集
·sklearn.datasets.load_iris() 加载并返回鸢尾花
·sklearn.datasets.load_boston()加载并返回波士顿房价数据集
3.数据集的返回值
·datasets.base.Bunch(继承自字典)
dict["key"] = values
dict.key = values
特征工程（Feature Engineering）
sklearn 特征工程
pandas数据清洗 ，数据处理
#####特征抽取/特征提取#######
特征提取API
·字典特征提取（特征离散化）
·文本特征提取
·图像特征提取
sklearn.feature_extraction
·字典特征提取
sklearn.feature_extraction.DictVectorizer(sparse=True)
DictVectorizer.fit_transform(X) X:字典或者包含字典的迭代器返回值：返回sparse矩阵
sparse表示稀疏矩阵
将非零值 按位置表示出来
节省内存 提高加载效率
DictVectorizer.inverse_transform(X) X:array数组或者sparse矩阵 返回值：转换之前数据格式
DictVectorizer.get_feature_names() 返回类别名称
总结：对于特征当中存在类别信息我们都会做one-hot编码处理（不区分优先级）
应用场景：
1.pclass,sex 数据集当中特征值比较多
DictVectorizer转换
2.本身拿到的数据就是字典类型
·文本特征提取
单词 作为 特征
句子、短语、字母、单词都可以作为特征
特征：特征词
方法1：CountVectorizer(stop_words=[])
stop_words停用词
停用词表
CountVectorizer.fit_transform(X) X:文本或者包含文本字符串的可迭代对象 返回值：返回sparse矩阵
CountVectorizer.inverse_transform(X) X:array数组或者sparse矩阵 返回值：转换之前数据格
CountVectorizer.get_feature_name() 返回值：单词列表
关键词：在某一个类别的文章中，出现次数很多，但是在其他类别的文章当中出现很少
方法2：TfidfVectorizer
TF-IDF 重要程度
两个词 “经济”，“非常”
1000篇文章-语料库
100篇文章-“非常”
10篇文章-“经济”
两篇文章
文章A(100词)：10次“经济”TF-IDF=0.2
tf = 10/100 = 0.1 IDF=lg(1000/10)=2
文章B(100词)：10次“非常”TF-IDF=0.1
tf = 10/100 = 0.1
TF -词频（term frequency） IDF=lg(1000/100)=1
IDF-逆向文档频率
####数据预处理#####
无量纲化
·归一化：通过原始数据进行变换把数据映射到（默认为[0,1]）之间
·sklearn.preprocessing.MinMaxScaler(feature_range=(0,1)...)
MinMaxScalar.fit_transform(X)
X:numpy array格式的数据[n_samples,n_features] 参数为 行 列
·标准化：通过对原始数据进行变换把数据变换到均值为0，标准差为1的范围内
（x-mean）/std
标准差：集中程度
·sklearn.preprocessing.StandardScaler()
StandardScaler.fit_transform(X)
·降维 ndarray
维数：嵌套的层数 0维-标量 1维-向量 2维-矩阵
此处的降维：降低特征（随机变量）的个数
效果：特征与特征之间不相关
·特征选择
Filter过滤式
方差选择发：低方差特征过滤 方差小：某个特征大多样本的值比较相近
·sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
·删除所有低方差特征
·Variance.fit_transform(X)
X:numpy array格式的数据[n_samples,n_features]
返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有
非零方差特征。即删除所有相同的特征值
相关系数-衡量特征与特征之间的相关程度
皮尔逊相关系数
Embeded嵌入式
决策树
正则化
深度学习
·主成分分析：高维数据转化为低维数据的过程中可能会舍弃原有数据、创造新的变量
是数据维度压缩，尽可能降低原数据的维度（复杂性），损失少量信息
应用：回归分析或者聚类分析当中
·sklearn.decomposition.PCA(n_components=None)
·将数据分解为较低维度空间
·n_components:小数：表示保留百分之多少的信息
整数；减少到多少特征 如二维n_components=2
·PCA.fit_transform(X) X:numpy array格式数据 [n_samples,n_features]
·返回值：转换后指定维度的array
案例：探究用户对物品类别的喜好细分
用户 物品类别
user_id aisle_id
见jupyter notebook
from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import GridSearchCV def knn_iris(): """ 用KNN算法对鸢尾花进行分类 :return: """ #1）获取数据 iris = load_iris() #2）划分数据集 x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=6) #3）特征工程：标准化 transfer = StandardScaler() x_train= transfer.fit_transform(x_train)#训练集 x_test = transfer.transform(x_test) #用训练集的标准差和平均值做标准化 transform的作用是根据找到的规则对数据进行转换 #4）KNN算法预估器 estimator = KNeighborsClassifier(n_neighbors=3) estimator.fit(x_train,y_train) #5）模型评估 #方法1：直接比对真实值和预测值 y_predict = estimator.predict(x_test) print("y_predict:\n",y_predict) print("直接比对真实值和预测值:\n",y_test == y_predict) #方法2：计算准确率 score= estimator.score(x_test,y_test) print("准确率为：\n",score) return None def knn_iris_gscv(): """ 用KNN算法对鸢尾花进行分类,添加网格搜索和交叉验证 :return: """ #1）获取数据 iris = load_iris() #2）划分数据集 x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=6) #3）特征工程：标准化 transfer = StandardScaler() x_train= transfer.fit_transform(x_train)#训练集 x_test = transfer.transform(x_test) #用训练集的标准差和平均值做标准化 transform的作用是根据找到的规则对数据进行转换 #4）KNN算法预估器 estimator = KNeighborsClassifier() #加入网格搜索与交叉验证 #参数准备 param_dict= {"n_neighbors":[1,3,5,7,9,11]} estimator = GridSearchCV(estimator,param_grid=param_dict,cv = 10) estimator.fit(x_train,y_train) #5）模型评估 #方法1：直接比对真实值和预测值 y_predict = estimator.predict(x_test) print("y_predict:\n",y_predict) print("直接比对真实值和预测值:\n",y_test == y_predict) #方法2：计算准确率 score= estimator.score(x_test,y_test) print("准确率为：\n",score) # ·最佳参数：best_params_ print("最佳参数：\n",estimator.best_params_) # ·最佳结果：best_score_ print("最佳结果：\n",estimator.best_score_) # ·最佳估计器：best_estimator_ print("最佳估计器：\n",estimator.best_estimator_) # ·交叉验证结果：cv_results_ print("交叉验证结果:\n",estimator.cv_results_) return None if __name__ =="__main__": #代码1：用KNN算法对鸢尾花进行分类 # knn_iris() knn_iris_gscv()
jupyter notebook
#1.获取数据 #2.合并表 #3.找到user_id和aisle之间的关系 #4.PCA降维 import pandas as pd order_products = pd.read_csv("./instacart/order_products_prior.csv") products = pd.read_csv("./instacart/products.csv") orders = pd.read_csv("./instacart/orders.csv") aisles = pd.read_csv("./instacart/aisles.csv") #2.合并表 #合并aisles和products ，让aisle和product_id在一起 tab1 = pd.merge(aisles,products,on=["aisle_id","aisle_id"]) tab2 = pd.merge(tab1,order_products,on=["product_id","product_id"]) tab3 = pd.merge(tab2,orders,on=["order_id","order_id"]) #3.找到user_id和aisle之间的关系 table = pd.crosstab[tab3["user_id"],tab3["aisle"]] #4.PCA降维 from sklearn.decomposition import PCA #1.实例化一个转换器 transfer = PCA(n_components = 0.95) #保存95%的信息 #2.调用fit_transform data_new = transfer.fit_transform(data)