ディープラーニング | 3 | 多層パーセプトロンを開く正しい方法

単層パーセプトロン

パーセプトロンと線形回帰の本質的な違い:出力が異なります

• 線形回帰の出力は連続実数値です

• パーセプトロンの出力は離散クラス {0, 1} または {-1, 1} です。

したがって、パーセプトロンは二項分類の分類器とみなすことができます。出力が 0 の場合は最初のカテゴリを示し、出力が 1 の場合は 2 番目のカテゴリを示します。

パーセプトロントレーニング法

1. wとbを初期化する
2. サイクル：
3.    ~~  如果$y_{}\times (<w_{}、{バツ}_{}>+b)\le 0$の場合:
4.      ~~~~    令$w\leftarrow w+y_{}{バツ}_{}、b\leftarrow b+y_{}$
5. すべてのカテゴリが正しく分類されるまで

上記のプロセスでは、損失関数は次のように記述できます。

$私=\text{最大}(0,-y<ｗ、バツ>）$

AI の最初の危機: XOR 問題

パーセプトロンは XOR 問題を解決できません。XOR 問題を一次関数で分割するのは困難です。

このとき、問題を解決するために多層パーセプトロンが登場します。

多層パーセプトロン

多層パーセプトロンによって提案される目的の 1 つは、XOR 問題を解決できるようにすることです。

いくつかの特徴については、いくつかの特徴が最初に分類され、別の部分が分類されます。2 つの部分からなる分類の結果とその後の分類により、XOR 問題を解決できます。
直観的に言えば、多層パーセプトロンの最大の特徴は、隠れ層がもう 1 つあることです。

dim=m の入力が与えられた場合、最終的に dim=n の出力ベクトル (カテゴリ) を出力する必要があります。これを達成する直感的な方法は次のとおりです。

$$\left[\begin{array}{c}{h}_{}\\ ⋮\\ h_{}\end{array}\right]=\left[\begin{array}{ccc}{w}_{}{1}^{\left(0\right)}& \cdots & w_{}{メートル}^{\left(0\right)}\\ ⋮& \ddots & ⋮\\ w_{}{1}^{(0}& & w_{}{メートル}^{(0}\end{array}\right]\cdot \left[\begin{array}{c}{バツ}_{}\\ ⋮\\ {バツ}_{}\end{array}\right]+\left[\begin{array}{c}{b}_1^{(0}\\ ⋮\\ b_k^{(0}\end{array}\right]$$

$$\left[\begin{array}{c}{ああ}_{}\\ ⋮\\ {ああ}_{}\end{array}\right]=\left[\begin{array}{ccc}{w}_{}{1}^{\left(1\right)}& \cdots & w_{}{k}^{\left(1\right)}\\ ⋮& \ddots & ⋮\\ w_{}{1}^{(1}& & w_{}{k}^{(1}\end{array}\right]\cdot \left[\begin{array}{c}{h}_{}\\ ⋮\\ h_{}\end{array}\right]+\left[\begin{array}{c}{b}_1^{(1}\\ ⋮\\ b_n^{(1}\end{array}\right]$$

上記を行列形式で書くと、

$$h=W^{\left(0\right)}\times +b^{\left(0\right)}$$

$$ああ=W^{\left(1\right)}時間+b^{\left(1\right)}$$

しかし、実際にはまだ単層ネットワークであり、
上記の式を導入すると、次の形式になります。

$${ああ=W}^{\left(1\right)}\left(W^{\left(0\right)}{\times +b}^{\left(0\right)}\right)+b^{\left(1\right)}$$

展開後は次のように記述できます。

$${ああ=W}^{\left(1\right)}{W}^{\left(0\right)}{\times +W}^{\left(1\right)}{b}^{\left(0\right)}+b^{\left(1\right)}$$

ただし、$W^{\left(0\right)}\in R^{k\times m}、W^{\left(1\right)}\in R^{k\times n}、b^{\left(0\right)}\in R^{k\times 1}、b^{\left(1\right)}\in R^{n\times 1}$

那么，$W=W^{\left(1\right)}\times W^{\left(0\right)}\in R^{n\times m}、b=W^{\left(1\right)}{b}^{\left(0\right)}+b^{\left(1\right)}\in R^{n\times 1}$

基本的に、式は次のように書くことができます。

$$ああ=幅\times +b$$

したがって、本質的には依然として単層ニューラル ネットワークです。

上記の問題の最大の理由は、ニューロンの伝達過程における非線形性の欠如です。

1 つの入力に複数の行列を乗算することは、基本的に 1 つの行列を乗算することと同じです。

行列の乗算は線形プロセスであるため、変換後に元に戻すことができます。

線形変換の基本形式は次のとおりです。

$$y=幅\times$$

この状況を変える方法は、モデルに非線形変換を追加することです。

非線形変換、活性化関数を追加

シグモド関数

$$\text{バツ}=\frac{}{1+\text{exp}(-x)}$$
イメージを描く

import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

import torch
import matplotlib.pyplot as plt

plt.figure(figsize=(2, 2))

x = torch.arange(-5, 5, 0.1, requires_grad=True)
y = x.sigmoid()
plt.scatter(x.detach().numpy(), y.detach().numpy())
plt.show()

どのような状況でシグモイド活性化関数を使用するのが適切ですか?

シグモイド関数の出力の範囲は 0 から 1 です。
出力として予測確率を持つモデルの場合、出力値は 0 から 1 に制限されるため、各ニューロンの出力が正規化されます。確率の範囲は 0 から 1 であるため、シグモイド関数は非常に適しており、
出力値の「ジャンプ」を避けるために勾配が滑らかであり、
関数は微分可能です。これは、任意の 2 点のシグモイド曲線の傾き、
つまり 1 または 0 に非常に近い明確な予測を見つけることができることを意味します。

シグモイド活性化関数の欠点:

勾配消失: 注: シグモイド関数が 0 および 1 に近づくと、つまりシグモイドの勾配が 0 に近づくと、変化率は平坦になります。ニューラル ネットワークがバックプロパゲーションにシグモイド活性化関数を使用する場合、出力が 0 または 1 に近いニューロンの勾配は 0 に近づく傾向があります。これらのニューロンは飽和ニューロンと呼ばれます。したがって、これらのニューロンの重みは更新されません。また、そのようなニューロンに接続されているニューロンの重みは非常にゆっくりと更新されます。この問題は勾配消失と呼ばれます。したがって、大規模なニューラル ネットワークにシグモイド ニューロンが含まれており、その多くが飽和している場合、ネットワークはバックプロパゲーションを実行できないと想像してください。
ゼロを中心としていない: シグモイド出力がゼロを中心としていない場合、出力は常に 0 より大きく、非ゼロ中心の出力により次の層のニューロンの入力がバイアスされます (バイアス シフト)。さらに、これにより、勾配降下法の収束速度が遅くなります。
計算コストが高い: exp() 関数は、他の非線形アクティベーション関数に比べて計算コストが高く、コンピューター上で実行すると時間がかかります。

y.sum().backward()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), x.grad.detach().numpy())
plt.show()

タン関数

$$\text{バツ}=\frac{1-\text{exp}(-2x}{1+\text{exp}(-2x)}$$

y = x.tanh()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), y.detach().numpy())
plt.show()

タンの欠点:

シグモイドと同様に、Tanh 関数にも勾配消失の問題があるため、勾配が飽和したとき (x が大きいか小さいとき) に勾配が「消滅」します。
注: 一般的なバイナリ分類問題では、tanh 関数が隠れ層に使用され、シグモイド関数が出力層に使用されますが、これは修正されていないため、特定の問題に合わせて調整する必要があります。

x.grad.zero_()
y.sum().backward()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), x.grad.detach().numpy())
plt.show()

ReLU関数

$$\text{再読}\left(x\right)=\{\begin{array}{ll}0、& \text{バツ}\le 0\\ \times & \text{x >}\end{array}$$

y = x.relu()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), y.detach().numpy())
plt.show()

x.grad.zero_()
y.sum().backward()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), x.grad.detach().numpy())
plt.show()

実際には、relu 関数はより簡潔な式になります。

$$\text{再読}\left(x\right)=\text{最大}(x,0)$$

ReLU 関数は深層学習でよく使われる活性化関数であり、シグモイド関数やtanh 関数と比較して次のような利点があります。

入力が正の場合、導関数は 1 となり、勾配消失の問題がある程度改善され、勾配降下法の収束速度が加速され、計算速度が大幅に
速くなります。ReLU 関数には線形関係のみがあるため、シグモイドやタン関数よりも高速に計算できます。
片側性の抑制、広い興奮境界（つまり、興奮度が非常に高くなる可能性がある）など、生物学的妥当性（Biological Plausibility）があると考えられます。

ReLU 関数の欠点:

死んだ ReLU 問題。ReLU は入力が負の場合には完全に失敗しますが、これは順伝播では問題になりません。敏感な領域もあれば、そうでない領域もあります。ただし、バックプロパゲーションの過程で、負の数を入力すると、勾配は完全にゼロになります;
[Dead ReLU 問題] ReLU ニューロンは、学習中に比較的簡単に「死滅」します。学習中に、不適切なパラメーター更新後に最初の隠れ層の ReLU ニューロンがすべての学習データでアクティブ化できない場合、ニューロン自身のパラメーターの勾配は常に 0 になり、その後の学習プロセス中にアクティブ化することはできません。この現象はデッド ReLU 問題と呼ばれ、他の隠れ層でも発生する可能性があります。
ゼロを中心にしない: シグモイド活性化関数と同様に、ReLU 関数の出力はゼロを中心にせず、ReLU 関数の出力は 0 または正の数になります。次の層のニューラル ネットワークにバイアス オフセットを導入します。勾配降下効率に影響します。

各ニューロンには、活性化関数が設定されています。

その物理的な意味は、しきい値が十分に大きい場合はアクティブ化され (下位層に渡され)、そうでない場合は渡されません。

実際、この物理的な意味には神経科学的な説明があります。

したがって、多層パーセプトロンの全体的な形式は次のようになります。

$$h=d\left(W^{\left(0\right)}{\times +b}^{\left(0\right)}\right)$$

$$ああ=\text{ソフトマックス}\left(W^{\left(1\right)}{時間+b}^{\left(1\right)}\right)$$

要約する

多層パーセプトロンは、ニューラルネットワークに基づく多層分類モデルです。

その出力はソフトマックス後の出力、つまり、出力は確率です。

その複数の層は、活性化関数の非線形性に由来します。

最も一般的に使用される活性化関数は、計算が最も便利な Relu 関数です。