百面の機械学習-1。機能エンジニアリング

記事のディレクトリ

前書き

参照：100面の機械学習pdf：リンク：https
：//pan.baidu.com/s/1QHWWEXxrOIOQgTycz3YX6Q抽出コード：y01g

1.機能の正規化

説明
データフィーチャ間の次元の影響を排除するには、フィーチャを正規化して、さまざまなインジケーターを比較できるようにし、インジケーターが同じ数値の大きさで分析しやすいようにする必要があります。
方法：

線形関数の正規化（最小-最大）、元のデータを[0,1]の範囲にマッピングします
```
from sklearn.preprocessing import MinMaxScaler
```
ゼロ平均正規化（標準化）、元のデータを平均= 0およびstd = 1の分布にマッピング
```
from sklearn.preprocessing import StandardScaler
```

なぜ数値的特徴を正規化する必要があるのですか？
確率的勾配降下法を例にとると、学習率が同じである場合、正規化されたデータは、勾配降下法によって最適な解をより早く見つけることが容易になります。
ここに画像の説明を挿入します
実際のアプリケーションでは、線形回帰、ロジスティック回帰、サポートベクターマシン、ニューラルネットワーク、その他のモデルなど、勾配降下アルゴリズムによって解決されるモデルを正規化する必要があります。ただし、情報ゲイン、情報ゲイン比、ジニ係数は、特徴が正規化されているかどうかとは関係がないため、決定木モデルには適用できません。

2つのカテゴリの特徴

記述的
カテゴリ機能とは、通常は文字列の形式で、限られたオプション内で値を取得する機能を指します。文字列の形式で入力を直接処理できる決定木などのいくつかのモデルを除いて、ロジスティック回帰やサポートベクターマシンなどのモデルは、カテゴリの特徴を数値の特徴に直接変換する必要があります。
データを前処理するときにカテゴリ機能を処理するにはどうすればよいですか？

シリアル番号のコーディング
は通常、カテゴリ間にサイズの関係があるデータを処理し、サイズの関係に従ってカテゴリ機能に数値IDを割り当てます。
```
from sklearn.preprocessing import OrdinalEncoder
import numpy as np

label = OrdinalEncoder()
list = ['中国', '美国', '法国', '德国']
list = np.array(list).reshape(-1,1)
labels = label.fit_transform(list)
print(labels)
```
```
[[0.]
 [3.]
 [2.]
 [1.]]
```
データ自体にサイズの関係がない場合、このコードを使用すると、存在しないシーケンスの関係がこの機能に追加され、ノイズが増加します
ワンホットエンコーディング-ワンホットエンコーディング
は通常、カテゴリ間にサイズの関係がない機能を処理するために使用されます。
```
from sklearn.preprocessing import LabelEncoder,OneHotEncoder
import numpy as np

label = LabelEncoder()
labels = label.fit_transform(['中国', '美国', '法国', '德国'])
print(labels)

labels = np.array(labels).reshape(len(labels), 1)  # 先将X组织成（sample，feature）的格式
# list = ['中国', '美国', '法国', '德国']
# list = np.array(list).reshape(-1,1)
onehot = OneHotEncoder()
onehot_label = onehot.fit_transform(labels)
print(onehot_label.toarray())  # 这里一定要进行toarray()，转换成array格式
```
```
[0 3 2 1]
[[1. 0. 0. 0.]
 [0. 0. 0. 1.]
 [0. 0. 1. 0.]
 [0. 1. 0. 0.]]
```
多くの種類の値がある場合は、次の問題に注意してください（onehotエンコーディングに変換すると、次元が非常に高くなります）：
1。スパースベクトルを使用してスペースを節約します
2.特徴選択と協力して次元を削減する必要があります。一方では、次元削減モデルでは、次元の増加はパラメーターの数の増加につながり、過剰適合の問題を引き起こす可能性があります。他方では、一部の次元のみが分類に有効であり、予測。
バイナリエンコーディング-バイナリエンコーディングは、
最初にシリアル番号エンコーディングを使用して各カテゴリにカテゴリIDを割り当て、次にカテゴリIDに対応するバイナリコードを結果として使用します。バイナリエンコーディングは、基本的にバイナリを使用してIDをハッシュし、最終的に0/1の特徴ベクトルを取得します。これは、ワンホットエンコーディングよりも次元が少なく、スペースを節約します。