ディープラーニングと機械学習
ディープラーニングは機械学習の一種です。ディープ ラーニングでは、各層に多数のニューロンが含まれる複数のニューラル ネットワーク層で構成されるディープ ニューラル ネットワークを使用します。ディープ ニューラル ネットワークの層とパラメーターの数は通常多く、より複雑なタスクや大規模なデータを処理できるようになります。
- 従来の機械学習では通常、手動による特徴設計、つまり生データから有用な特徴を抽出し、それらを学習と予測の入力として使用する必要があります。
- 深層学習の重要な機能は、特徴表現を自動的に学習する機能です。ニューラル ネットワークを層ごとに積み重ねることにより、深層学習モデルは、手動で特徴を定義することなく、生データから高度な特徴表現を学習できます。
モデルの上限はデータによって決まり、前処理と特徴抽出が核となります。
深層学習は、特徴を抽出する方法の問題を解決します。
1. ニューラルネットワーク
f(x,W) を入力-》から出力にマッピングします。w は重みパラメータです。
f(x,W)=Wx+b の場合、トレーニングでは損失関数 L の値が最小になるように w を変更します。
なぜニューラル ネットワークは非線形問題を解決できるのでしょうか?
非線形活性化関数が使用されます。たとえばタン。
1.アクティベーション機能
最も一般的な活性化関数は次のとおりです。
-
シグモイド
はスクイーズ関数とも呼ばれます。一般に二値分類に使用されますが、飽和すると勾配が消えてしまうため、最適化に非常に時間がかかります。 -
胡散臭い
-
relu
max (0, x) は
迅速に最適化され、迅速に収束します。ただし、x<0 の場合は学習できません。一般的に使用されます。 -
Leaky relu
max (0.1x, x)
は非常に一般的に使用されます。レルの問題を解決しました。 -
マックスアウト
-
上
2. フィードフォワードニューラルネットワーク
