1. 特徴の次元削減とは何ですか?
次元削減とは、「無関係な」主変数のセットを取得するために、特定の限られた条件下で確率変数 (特徴) の数を削減するプロセスを指します。
1. 次元削減
次元を削減します
ndarry
次元: ネストされた層の数
0 次元: スカラー、特定の数値 0 1 2 3...
1 次元: ベクトル
2 次元: 行列3 次元: n 次元で
ネストされた複数の 2 次元配列: 続行
ネスティング
2. 特徴の次元削減によって何が削減されますか?
削減されるのは 2 次元配列です。特徴は複数の行と列にあります。各行にはサンプルの数がいくつありますか。列には特徴の数がいくつありますか? 数が削減されます
。特徴の数 (つまり、列の数)。
2. 次元削減の 2 つの方法
1. 特徴選択
2. 主成分分析（特徴抽出の方法が理解できる）
3. 機能選択とは何ですか?
1. 定義:
データには、元の特徴から主な特徴を見つけることを目的として、冗長または関連する変数 (特徴、属性、指標などとも呼ばれます) が含まれています。
2. 例:鳥のカテゴリーと特徴を区別したいですか?
(1) 羽の色
(2) 目の幅
(3) 目の長さ
(4) 爪の長さ
(5) 体の大きさ
たとえば、羽があるかどうか、爪があるかどうかなどの特徴がありますが、これらの特徴は意味がありません。
3. メソッド
フィルター (フィルタータイプ): 主に特徴自体の特性、特徴と目標値の関係を調査します
(1) 分散選択方法: 低分散特徴フィルター、比較的低い分散を持つ特徴を除外します
(2) 相関係数: 特徴 特徴との相関度
(3) 分散選択法のパフォーマンスはテキスト分類では非常に低く、ノイズを処理する能力はほぼ 0 であり、有用な特徴は削除されます。
組み込み：アルゴリズムが特徴量（特徴量と目標値の関連性）を自動選択
(1) 決定木: 情報エントロピー、情報ゲイン
(2) 正則化: L1、L2
(3) 深層学習: 畳み込みなど
(4) についてはEmbedded メソッドは、アルゴリズムをよりよく理解するために説明するときにのみ導入できます。
4. モジュール
sklearn.feature_selection
4. 低分散特徴フィルタリング
1. 分散の低いいくつかの特徴を削除します分散の意味については前に説明しました。次に、分散の大きさに基づいてこの方法の観点を検討します
(1) 特徴の分散が小さい: 特定の特徴のほとんどのサンプルの値が比較的似ています
(2) 特徴の分散が大きい: 値特定の機能の多くのサンプルは異なります。
2. API
sklearn.feature_selection.VarianceThreshold (threshold = 0.0) は
、すべての低分散特徴量を削除し、臨界値を設定し、臨界値を下回る特徴量を削除し
ます
。
3. Variance.fit_transform(X)
X: numpy 配列形式のデータ [n_samples, n_features]
戻り値: トレーニング セットの差が閾値より小さい特徴は削除されます。デフォルトでは、ゼロ以外の分散特徴をすべて保持します。つまり、すべてのサンプルで同じ値を持つ特徴を削除します。
4. データ計算:
特定の株式の指標特性にフィルターを実行します。データは、factor_returns.csv ファイルにあります。インデックス、日付、およびリターン列は考慮されません (これらのタイプは一致せず、必要な指標ではありません) ）。
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.preprocessing import MinMaxScaler, StandardScaler
from sklearn.feature_selection import VarianceThreshold
import jieba
import pandas as pd
def datasets_demo():
"""
sklearn数据集使用
"""
#获取数据集
iris = load_iris()
print("鸢尾花数据集：\n", iris)
print("查看数据集描述：\n", iris["DESCR"])
print("查看特征值的名字：\n", iris.feature_names)
print("查看特征值几行几列：\n", iris.data.shape)
#数据集的划分
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=22)
print("训练集的特征值：\n", x_train, x_train.shape)
return None
def dict_demo():
"""
字典特征抽取
"""
data = [{'city': '北京','temperature':100},{'city': '上海','temperature':60},{'city': '深圳','temperature':30}]
# 1、实例化一个转换器类
transfer = DictVectorizer(sparse=False)
# 2、调用fit_transform()
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
print("特征名字：\n", transfer.get_feature_names())
return None
def count_demo():
"""
文本特征抽取
"""
data = ["life is short,i like like python", "life is too long,i dislike python"]
# 1、实例化一个转换器类
transfer = CountVectorizer()
# 2、调用fit_transform()
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def count_chinese_demo():
"""
中文文本特征抽取
"""
data = ["我 爱 北京 天安门", "天安门 上 太阳 升"]
# 1、实例化一个转换器类
transfer = CountVectorizer()
# 2、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new.toarray());
print("特征名字：\n", transfer.get_feature_names())
return None
def cut_word(text):
"""
进行中文分词
"""
return " ".join(list(jieba.cut(text))) #返回一个分词生成器对象，强转成list，再join转成字符串
def count_chinese_demo2():
"""
中文文本特征抽取，自动分词
"""
# 1、将中文文本进行分词
data = ["今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
"我们看到的从很远星系来的光是在几百万年前之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
"如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
data_new = []
for sent in data:
data_new.append(cut_word(sent))
print(data_new)
# 2、实例化一个转换器类
transfer = CountVectorizer()
# 3、调用fit_transform()
data_final = transfer.fit_transform(data_new)
print("data_final：\n", data_final.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def tfidf_demo():
"""
用tf-idf的方法进行文本特征抽取
"""
# 1、将中文文本进行分词
data = ["今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
"我们看到的从很远星系来的光是在几百万年前之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
"如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
data_new = []
for sent in data:
data_new.append(cut_word(sent))
print(data_new)
# 2、实例化一个转换器类
transfer = TfidfVectorizer()
# 3、调用fit_transform()
data_final = transfer.fit_transform(data_new)
print("data_final：\n", data_final.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def minmax_demo():
"""
归一化
"""
# 1、获取数据
data = pd.read_csv("dating.txt")
#print("data：\n", data)
data = data.iloc[:, 0:3] #行都要，列取前3列
print("data：\n", data)
# 2、实例化一个转换器
transfer = MinMaxScaler()
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
return None
def stand_demo():
"""
标准化
"""
# 1、获取数据
data = pd.read_csv("dating.txt")
#print("data：\n", data)
data = data.iloc[:, 0:3] #行都要，列取前3列
print("data：\n", data)
# 2、实例化一个转换器
transfer = StandardScaler()
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
return None
def variance_demo():
"""
过滤低方差特征
"""
# 1、获取数据
data = pd.read_csv("factor_returns.csv")
#print("data：\n", data)
data = data.iloc[:, 1:-2]
print("data：\n", data)
# 2、实例化一个转换器类
transfer = VarianceThreshold(threshold=3)
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new, data_new.shape)
return None
if __name__ == "__main__":
# 代码1：sklearn数据集使用
#datasets_demo()
# 代码2：字典特征抽取
#dict_demo()
# 代码3：文本特征抽取
#count_demo()
# 代码4：中文文本特征抽取
#count_chinese_demo()
# 代码5：中文文本特征抽取，自动分词
#count_chinese_demo2()
# 代码6： 测试jieba库中文分词
#print(cut_word("我爱北京天安门"))
# 代码7：用tf-idf的方法进行文本特征抽取
#tfidf_demo()
# 代码8：归一化
#minmax_demo()
# 代码9：标准化
#stand_demo()
# 代码10：低方差特征过滤
variance_demo()
操作結果:
data：
pe_ratio pb_ratio market_cap return_on_asset_net_profit du_return_on_equity ev earnings_per_share revenue total_expense
0 5.9572 1.1818 8.525255e+10 0.8008 14.9403 1.211445e+12 2.0100 2.070140e+10 1.088254e+10
1 7.0289 1.5880 8.411336e+10 1.6463 7.8656 3.002521e+11 0.3260 2.930837e+10 2.378348e+10
2 -262.7461 7.0003 5.170455e+08 -0.5678 -0.5943 7.705178e+08 -0.0060 1.167983e+07 1.203008e+07
3 16.4760 3.7146 1.968046e+10 5.6036 14.6170 2.800916e+10 0.3500 9.189387e+09 7.935543e+09
4 12.5878 2.5616 4.172721e+10 2.8729 10.9097 8.124738e+10 0.2710 8.951453e+09 7.091398e+09
... ... ... ... ... ... ... ... ... ...
2313 25.0848 4.2323 2.274800e+10 10.7833 15.4895 2.784450e+10 0.8849 1.148170e+10 1.041419e+10
2314 59.4849 1.6392 2.281400e+10 1.2960 2.4512 3.810122e+10 0.0900 1.731713e+09 1.089783e+09
2315 39.5523 4.0052 1.702434e+10 3.3440 8.0679 2.420817e+10 0.2200 1.789082e+10 1.749295e+10
2316 52.5408 2.4646 3.287910e+10 2.7444 2.9202 3.883803e+10 0.1210 6.465392e+09 6.009007e+09
2317 14.2203 1.4103 5.911086e+10 2.0383 8.6179 2.020661e+11 0.2470 4.509872e+10 4.132842e+10
[2318 rows x 9 columns]
data_new：
[[ 5.95720000e+00 1.18180000e+00 8.52525509e+10 ... 1.21144486e+12
2.07014010e+10 1.08825400e+10]
[ 7.02890000e+00 1.58800000e+00 8.41133582e+10 ... 3.00252062e+11
2.93083692e+10 2.37834769e+10]
[-2.62746100e+02 7.00030000e+00 5.17045520e+08 ... 7.70517753e+08
1.16798290e+07 1.20300800e+07]
...
[ 3.95523000e+01 4.00520000e+00 1.70243430e+10 ... 2.42081699e+10
1.78908166e+10 1.74929478e+10]
[ 5.25408000e+01 2.46460000e+00 3.28790988e+10 ... 3.88380258e+10
6.46539204e+09 6.00900728e+09]
[ 1.42203000e+01 1.41030000e+00 5.91108572e+10 ... 2.02066110e+11
4.50987171e+10 4.13284212e+10]] (2318, 8)
5. 相関係数
1. ピアソン相関係数は、
変数間の相関関係の近さを反映する統計指標です。
2.計算式の計算例
(1)計算式
(2) 例えば、年間の広告投資と月平均売上を計算します。
(3) 相関係数の求め方
(4) 最終計算
(5) 結果 = 0.9942
なので、広告投資費用と月平均売上高の間には高い正の相関関係があると最終的に結論付けられます。
4.
scipy.stats import
pearsonrからの
API
5. ケース: 株式の財務指標の相関計算
2 つの変数間の相関係数を計算
データ [ ] 内のキーワードは、独自のテーブルの列名を使用してください。
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.preprocessing import MinMaxScaler, StandardScaler
from sklearn.feature_selection import VarianceThreshold
from scipy.stats import pearsonr
import jieba
import pandas as pd
def datasets_demo():
"""
sklearn数据集使用
"""
#获取数据集
iris = load_iris()
print("鸢尾花数据集：\n", iris)
print("查看数据集描述：\n", iris["DESCR"])
print("查看特征值的名字：\n", iris.feature_names)
print("查看特征值几行几列：\n", iris.data.shape)
#数据集的划分
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=22)
print("训练集的特征值：\n", x_train, x_train.shape)
return None
def dict_demo():
"""
字典特征抽取
"""
data = [{'city': '北京','temperature':100},{'city': '上海','temperature':60},{'city': '深圳','temperature':30}]
# 1、实例化一个转换器类
transfer = DictVectorizer(sparse=False)
# 2、调用fit_transform()
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
print("特征名字：\n", transfer.get_feature_names())
return None
def count_demo():
"""
文本特征抽取
"""
data = ["life is short,i like like python", "life is too long,i dislike python"]
# 1、实例化一个转换器类
transfer = CountVectorizer()
# 2、调用fit_transform()
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def count_chinese_demo():
"""
中文文本特征抽取
"""
data = ["我 爱 北京 天安门", "天安门 上 太阳 升"]
# 1、实例化一个转换器类
transfer = CountVectorizer()
# 2、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new.toarray());
print("特征名字：\n", transfer.get_feature_names())
return None
def cut_word(text):
"""
进行中文分词
"""
return " ".join(list(jieba.cut(text))) #返回一个分词生成器对象，强转成list，再join转成字符串
def count_chinese_demo2():
"""
中文文本特征抽取，自动分词
"""
# 1、将中文文本进行分词
data = ["今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
"我们看到的从很远星系来的光是在几百万年前之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
"如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
data_new = []
for sent in data:
data_new.append(cut_word(sent))
print(data_new)
# 2、实例化一个转换器类
transfer = CountVectorizer()
# 3、调用fit_transform()
data_final = transfer.fit_transform(data_new)
print("data_final：\n", data_final.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def tfidf_demo():
"""
用tf-idf的方法进行文本特征抽取
"""
# 1、将中文文本进行分词
data = ["今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
"我们看到的从很远星系来的光是在几百万年前之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
"如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
data_new = []
for sent in data:
data_new.append(cut_word(sent))
print(data_new)
# 2、实例化一个转换器类
transfer = TfidfVectorizer()
# 3、调用fit_transform()
data_final = transfer.fit_transform(data_new)
print("data_final：\n", data_final.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def minmax_demo():
"""
归一化
"""
# 1、获取数据
data = pd.read_csv("dating.txt")
#print("data：\n", data)
data = data.iloc[:, 0:3] #行都要，列取前3列
print("data：\n", data)
# 2、实例化一个转换器
transfer = MinMaxScaler()
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
return None
def stand_demo():
"""
标准化
"""
# 1、获取数据
data = pd.read_csv("dating.txt")
#print("data：\n", data)
data = data.iloc[:, 0:3] #行都要，列取前3列
print("data：\n", data)
# 2、实例化一个转换器
transfer = StandardScaler()
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
return None
def variance_demo():
"""
过滤低方差特征
"""
# 1、获取数据
data = pd.read_csv("factor_returns.csv")
#print("data：\n", data)
data = data.iloc[:, 1:-2]
print("data：\n", data)
# 2、实例化一个转换器类
transfer = VarianceThreshold(threshold=3)
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new, data_new.shape)
# 4、计算某两个变量之间的相关系数
r = pearsonr(data["pe_ratio"], data["pb_ratio"])
print("相关系数：\n", r)
return None
if __name__ == "__main__":
# 代码1：sklearn数据集使用
#datasets_demo()
# 代码2：字典特征抽取
#dict_demo()
# 代码3：文本特征抽取
#count_demo()
# 代码4：中文文本特征抽取
#count_chinese_demo()
# 代码5：中文文本特征抽取，自动分词
#count_chinese_demo2()
# 代码6： 测试jieba库中文分词
#print(cut_word("我爱北京天安门"))
# 代码7：用tf-idf的方法进行文本特征抽取
#tfidf_demo()
# 代码8：归一化
#minmax_demo()
# 代码9：标准化
#stand_demo()
# 代码10：低方差特征过滤
variance_demo()操作結果:
data：
pe_ratio pb_ratio market_cap return_on_asset_net_profit du_return_on_equity ev earnings_per_share revenue total_expense
0 5.9572 1.1818 8.525255e+10 0.8008 14.9403 1.211445e+12 2.0100 2.070140e+10 1.088254e+10
1 7.0289 1.5880 8.411336e+10 1.6463 7.8656 3.002521e+11 0.3260 2.930837e+10 2.378348e+10
2 -262.7461 7.0003 5.170455e+08 -0.5678 -0.5943 7.705178e+08 -0.0060 1.167983e+07 1.203008e+07
3 16.4760 3.7146 1.968046e+10 5.6036 14.6170 2.800916e+10 0.3500 9.189387e+09 7.935543e+09
4 12.5878 2.5616 4.172721e+10 2.8729 10.9097 8.124738e+10 0.2710 8.951453e+09 7.091398e+09
... ... ... ... ... ... ... ... ... ...
2313 25.0848 4.2323 2.274800e+10 10.7833 15.4895 2.784450e+10 0.8849 1.148170e+10 1.041419e+10
2314 59.4849 1.6392 2.281400e+10 1.2960 2.4512 3.810122e+10 0.0900 1.731713e+09 1.089783e+09
2315 39.5523 4.0052 1.702434e+10 3.3440 8.0679 2.420817e+10 0.2200 1.789082e+10 1.749295e+10
2316 52.5408 2.4646 3.287910e+10 2.7444 2.9202 3.883803e+10 0.1210 6.465392e+09 6.009007e+09
2317 14.2203 1.4103 5.911086e+10 2.0383 8.6179 2.020661e+11 0.2470 4.509872e+10 4.132842e+10
[2318 rows x 9 columns]
data_new：
[[ 5.95720000e+00 1.18180000e+00 8.52525509e+10 ... 1.21144486e+12
2.07014010e+10 1.08825400e+10]
[ 7.02890000e+00 1.58800000e+00 8.41133582e+10 ... 3.00252062e+11
2.93083692e+10 2.37834769e+10]
[-2.62746100e+02 7.00030000e+00 5.17045520e+08 ... 7.70517753e+08
1.16798290e+07 1.20300800e+07]
...
[ 3.95523000e+01 4.00520000e+00 1.70243430e+10 ... 2.42081699e+10
1.78908166e+10 1.74929478e+10]
[ 5.25408000e+01 2.46460000e+00 3.28790988e+10 ... 3.88380258e+10
6.46539204e+09 6.00900728e+09]
[ 1.42203000e+01 1.41030000e+00 5.91108572e+10 ... 2.02066110e+11
4.50987171e+10 4.13284212e+10]] (2318, 8)
相关系数：
(-0.004389322779936261, 0.8327205496564927)相関係数:
(-0.004389322779936261, 0.8327205496564927)
最初の値は相関係数で、比較的 0 に近く、2 つがあまり関連していないことを示します。2 番目の値は
p 値です。H0: x、y が次のとおりであると仮定します。 p 値が大きいほど、H0 が確立され、確率が高くなります。p値は有意水準を表しており、小さいほど良いため、
前回の相関係数が成立する可能性が高いことを示します。
6. 特徴間の相関が非常に高い場合の対処法
(1) 特徴の 1 つを選択
(2) 加重合計 (
例:収益と総費用はそれぞれ 50% を占め、相関が高い)
(3) 主成分分析
7. 画像を使用して相関関係を示します
matplotlib のインストール
(1) 最初に Pillow の参考資料をインストールします
: https://pillow.readthedocs.io/en/latest/installation.html
python3 -m pip install --upgrade pip
python3 -m pip install - -upgrade Pillow
(2) 次に、matplotlib をインストールします
pip3 install matplotlib
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.preprocessing import MinMaxScaler, StandardScaler
from sklearn.feature_selection import VarianceThreshold
from scipy.stats import pearsonr
import jieba
import pandas as pd
import matplotlib.pyplot as plt
def datasets_demo():
"""
sklearn数据集使用
"""
#获取数据集
iris = load_iris()
print("鸢尾花数据集：\n", iris)
print("查看数据集描述：\n", iris["DESCR"])
print("查看特征值的名字：\n", iris.feature_names)
print("查看特征值几行几列：\n", iris.data.shape)
#数据集的划分
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=22)
print("训练集的特征值：\n", x_train, x_train.shape)
return None
def dict_demo():
"""
字典特征抽取
"""
data = [{'city': '北京','temperature':100},{'city': '上海','temperature':60},{'city': '深圳','temperature':30}]
# 1、实例化一个转换器类
transfer = DictVectorizer(sparse=False)
# 2、调用fit_transform()
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
print("特征名字：\n", transfer.get_feature_names())
return None
def count_demo():
"""
文本特征抽取
"""
data = ["life is short,i like like python", "life is too long,i dislike python"]
# 1、实例化一个转换器类
transfer = CountVectorizer()
# 2、调用fit_transform()
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def count_chinese_demo():
"""
中文文本特征抽取
"""
data = ["我 爱 北京 天安门", "天安门 上 太阳 升"]
# 1、实例化一个转换器类
transfer = CountVectorizer()
# 2、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new.toarray());
print("特征名字：\n", transfer.get_feature_names())
return None
def cut_word(text):
"""
进行中文分词
"""
return " ".join(list(jieba.cut(text))) #返回一个分词生成器对象，强转成list，再join转成字符串
def count_chinese_demo2():
"""
中文文本特征抽取，自动分词
"""
# 1、将中文文本进行分词
data = ["今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
"我们看到的从很远星系来的光是在几百万年前之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
"如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
data_new = []
for sent in data:
data_new.append(cut_word(sent))
print(data_new)
# 2、实例化一个转换器类
transfer = CountVectorizer()
# 3、调用fit_transform()
data_final = transfer.fit_transform(data_new)
print("data_final：\n", data_final.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def tfidf_demo():
"""
用tf-idf的方法进行文本特征抽取
"""
# 1、将中文文本进行分词
data = ["今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
"我们看到的从很远星系来的光是在几百万年前之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
"如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
data_new = []
for sent in data:
data_new.append(cut_word(sent))
print(data_new)
# 2、实例化一个转换器类
transfer = TfidfVectorizer()
# 3、调用fit_transform()
data_final = transfer.fit_transform(data_new)
print("data_final：\n", data_final.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def minmax_demo():
"""
归一化
"""
# 1、获取数据
data = pd.read_csv("dating.txt")
#print("data：\n", data)
data = data.iloc[:, 0:3] #行都要，列取前3列
print("data：\n", data)
# 2、实例化一个转换器
transfer = MinMaxScaler()
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
return None
def stand_demo():
"""
标准化
"""
# 1、获取数据
data = pd.read_csv("dating.txt")
#print("data：\n", data)
data = data.iloc[:, 0:3] #行都要，列取前3列
print("data：\n", data)
# 2、实例化一个转换器
transfer = StandardScaler()
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
return None
def variance_demo():
"""
过滤低方差特征
"""
# 1、获取数据
data = pd.read_csv("factor_returns.csv")
#print("data：\n", data)
data = data.iloc[:, 1:-2]
print("data：\n", data)
# 2、实例化一个转换器类
transfer = VarianceThreshold(threshold=3)
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new, data_new.shape)
# 4、计算某两个变量之间的相关系数
r1 = pearsonr(data["pe_ratio"], data["pb_ratio"])
print("相关系数：\n", r1)
r2 = pearsonr(data["revenue"], data["total_expense"])
print("revenue与total_expense之间的相关性：\n", r2)
#用图片展示相关性
plt.figure(figsize=(20, 8), dpi=100)
plt.scatter(data['revenue'], data['total_expense'])
plt.show()
return None
if __name__ == "__main__":
# 代码1：sklearn数据集使用
#datasets_demo()
# 代码2：字典特征抽取
#dict_demo()
# 代码3：文本特征抽取
#count_demo()
# 代码4：中文文本特征抽取
#count_chinese_demo()
# 代码5：中文文本特征抽取，自动分词
#count_chinese_demo2()
# 代码6： 测试jieba库中文分词
#print(cut_word("我爱北京天安门"))
# 代码7：用tf-idf的方法进行文本特征抽取
#tfidf_demo()
# 代码8：归一化
#minmax_demo()
# 代码9：标准化
#stand_demo()
# 代码10：低方差特征过滤
variance_demo()
6. 主成分分析
1. 主成分分析 (PCA) とは?
定義: 高次元データを低次元データに変換するプロセス. このプロセスでは、元のデータが破棄され、新しい変数が作成される場合があります. 機能:
データの圧縮です元のデータを可能な限り削減するための次元の削減 データの次元 (複雑さ)、少量の情報の損失
アプリケーション: 回帰分析またはクラスター分析
2. 3 次元の物体を2
次元で最もよく表現する方法。実際にはヤカンです。写真に撮ると平らになります。これは
3 次元を 2 次元に縮小することに相当します。このプロセスでは、損失が発生する可能性があります。情報の
測定方法? 損失はどのくらい? 直観的なテスト方法は、2 次元画像を通じて情報が復元され、やかんであることが分かるかどうかです。
これら 4 つの写真からわかるように、最後の写真はやかんとして識別できます。これは、最後の写真が 3 次元から 2 次元に縮小されたときに失われる情報が最も少ないことを意味します。
3. PCA 計算プロセス:
適切な直線を見つけ、行列演算を通じて主成分分析の結果を得る
PCA はデータの次元削減技術であり、データをモデルに当てはめるのではなく、データを元の高い次元に線形変換します。 - 次元データは低次元部分空間に投影されるため、投影されたデータは元のデータの情報を可能な限り保持しながら、特徴の数と冗長性が削減されます。
4. API
sklearn.decomposition.PCA(n_components=None) は
データを低次元空間に分解します
n_components:
小数が渡された場合: どれだけの情報が保持されるかを示します
整数が渡された場合: どれだけの特徴が削減されるかを示します
5. PCA.fit_transform(X)
X: numpy 配列形式のデータ [n_samples, n_features]
戻り値: 変換後の指定次元の配列
6. データ計算
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.preprocessing import MinMaxScaler, StandardScaler
from sklearn.feature_selection import VarianceThreshold
from scipy.stats import pearsonr
from sklearn.decomposition import PCA
import jieba
import pandas as pd
import matplotlib.pyplot as plt
def datasets_demo():
"""
sklearn数据集使用
"""
#获取数据集
iris = load_iris()
print("鸢尾花数据集：\n", iris)
print("查看数据集描述：\n", iris["DESCR"])
print("查看特征值的名字：\n", iris.feature_names)
print("查看特征值几行几列：\n", iris.data.shape)
#数据集的划分
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=22)
print("训练集的特征值：\n", x_train, x_train.shape)
return None
def dict_demo():
"""
字典特征抽取
"""
data = [{'city': '北京','temperature':100},{'city': '上海','temperature':60},{'city': '深圳','temperature':30}]
# 1、实例化一个转换器类
transfer = DictVectorizer(sparse=False)
# 2、调用fit_transform()
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
print("特征名字：\n", transfer.get_feature_names())
return None
def count_demo():
"""
文本特征抽取
"""
data = ["life is short,i like like python", "life is too long,i dislike python"]
# 1、实例化一个转换器类
transfer = CountVectorizer()
# 2、调用fit_transform()
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def count_chinese_demo():
"""
中文文本特征抽取
"""
data = ["我 爱 北京 天安门", "天安门 上 太阳 升"]
# 1、实例化一个转换器类
transfer = CountVectorizer()
# 2、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new.toarray());
print("特征名字：\n", transfer.get_feature_names())
return None
def cut_word(text):
"""
进行中文分词
"""
return " ".join(list(jieba.cut(text))) #返回一个分词生成器对象，强转成list，再join转成字符串
def count_chinese_demo2():
"""
中文文本特征抽取，自动分词
"""
# 1、将中文文本进行分词
data = ["今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
"我们看到的从很远星系来的光是在几百万年前之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
"如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
data_new = []
for sent in data:
data_new.append(cut_word(sent))
print(data_new)
# 2、实例化一个转换器类
transfer = CountVectorizer()
# 3、调用fit_transform()
data_final = transfer.fit_transform(data_new)
print("data_final：\n", data_final.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def tfidf_demo():
"""
用tf-idf的方法进行文本特征抽取
"""
# 1、将中文文本进行分词
data = ["今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
"我们看到的从很远星系来的光是在几百万年前之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
"如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
data_new = []
for sent in data:
data_new.append(cut_word(sent))
print(data_new)
# 2、实例化一个转换器类
transfer = TfidfVectorizer()
# 3、调用fit_transform()
data_final = transfer.fit_transform(data_new)
print("data_final：\n", data_final.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def minmax_demo():
"""
归一化
"""
# 1、获取数据
data = pd.read_csv("dating.txt")
#print("data：\n", data)
data = data.iloc[:, 0:3] #行都要，列取前3列
print("data：\n", data)
# 2、实例化一个转换器
transfer = MinMaxScaler()
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
return None
def stand_demo():
"""
标准化
"""
# 1、获取数据
data = pd.read_csv("dating.txt")
#print("data：\n", data)
data = data.iloc[:, 0:3] #行都要，列取前3列
print("data：\n", data)
# 2、实例化一个转换器
transfer = StandardScaler()
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
return None
def variance_demo():
"""
过滤低方差特征
"""
# 1、获取数据
data = pd.read_csv("factor_returns.csv")
#print("data：\n", data)
data = data.iloc[:, 1:-2]
print("data：\n", data)
# 2、实例化一个转换器类
transfer = VarianceThreshold(threshold=3)
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new, data_new.shape)
# 4、计算某两个变量之间的相关系数
r1 = pearsonr(data["pe_ratio"], data["pb_ratio"])
print("相关系数：\n", r1)
r2 = pearsonr(data["revenue"], data["total_expense"])
print("revenue与total_expense之间的相关性：\n", r2)
#用图片展示相关性
plt.figure(figsize=(20, 8), dpi=100)
plt.scatter(data['revenue'], data['total_expense'])
plt.show()
return None
def pca_demo():
"""
PCA降维
"""
data = [[2,8,4,5], [6,3,0,8], [5,4,9,1]]
# 1、实例化一个转换器类
transfer = PCA(n_components=3)
# 2、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n", data_new)
# 1、实例化一个转换器类
transfer2 = PCA(n_components=0.9)
# 2、调用fit_transform
data_new2 = transfer2.fit_transform(data)
print("data_new2：\n", data_new2)
return None
if __name__ == "__main__":
# 代码1：sklearn数据集使用
#datasets_demo()
# 代码2：字典特征抽取
#dict_demo()
# 代码3：文本特征抽取
#count_demo()
# 代码4：中文文本特征抽取
#count_chinese_demo()
# 代码5：中文文本特征抽取，自动分词
#count_chinese_demo2()
# 代码6： 测试jieba库中文分词
#print(cut_word("我爱北京天安门"))
# 代码7：用tf-idf的方法进行文本特征抽取
#tfidf_demo()
# 代码8：归一化
#minmax_demo()
# 代码9：标准化
#stand_demo()
# 代码10：低方差特征过滤
#variance_demo()
# 代码11：PCA降维
pca_demo()操作結果:
data_new：
[[ 1.28620952e-15 3.82970843e+00 5.26052119e-16]
[ 5.74456265e+00 -1.91485422e+00 5.26052119e-16]
[-5.74456265e+00 -1.91485422e+00 5.26052119e-16]]
data_new2：
[[ 1.28620952e-15 3.82970843e+00]
[ 5.74456265e+00 -1.91485422e+00]
[-5.74456265e+00 -1.91485422e+00]]