【機械学習】損失関数と最適化プロセス

---

統計学習の枠組みでは、通常、与えられたデータを説明したり、適切に適合させたりできる関数や概念を見つけようとします。これは通常、ある種のリスクや損失を最小限に抑えることで達成されます。適切なモデルを見つけるために、事前に定義された仮説空間HHで試します。トレーニング データの経験的リスクが最小となる$Hの関数を見つけます。$ただし、私たちの本当の目標は、(考えられるすべてのデータ分布に対して) 予想されるリスクが最小限に抑えられる関数を見つけることです。これには、多くの場合、モデルの複雑さとデータ上のパフォーマンスのバランスを取る必要があります。

最適な機能または概念があると仮定します。データに最もよく適合する$c$$c=\underset{h}{\mathrm{引数}}R(h)$，其中 $R\left(h\right)$は関数$h$リスク。

実際には、すべての可能な関数空間を検索することはできないため、検索を事前定義された仮説クラス$H$イン。与えられたトレーニング サンプル$S=\{(X_{}、Y_{}）、\dots 、(X_{}、Y_{})\}$、関数$h$の経験的リスク$R_{}\left(h\right)$は次のとおりです。

$$R_{}\left(h\right)=\sum _{i=1}\ell （X_{}、Y_{}、h)$$

予想されるリスクは、考えられるすべてのデータ分布にわたる平均リスクであり、次のように定義されます。

$$R\left(h\right)=E\left[R_{}\right(h)]=E\left[\ell \right(X_{}、Y_{}、h)]$$

関数空間全体における最良の仮説 (ターゲット概念) は次のとおりです。

$$c=\underset{h}{\mathrm{引数}}R\left(h\right)$$

そして、事前定義された仮説クラス$H$の最適仮説は次の

$$h^{\ast }=\underset{h\in H}{\mathrm{引数}}R\left(h\right)$$

経験的リスクを使用して$h$トレーニング データから、次の結果が得られます。
$$h_{}=\underset{h\in H}{\mathrm{引数}}{R}_{}\left(h\right)=\underset{h\in H}{\mathrm{引数}}\frac{}{n}\sum _{i=1}\ell （X_{}、Y_{}、h)$$

したがって、適切な仮説空間と損失関数$\ell$が重要です。

クラス$H$は関数のセットであり、各関数は入力特徴から出力ラベルへのマッピングを試みます。$H=\{h_{}、h_{}、\dots \}$ . 通常、$H\; は、$線形回帰、決定木などの特定のアルゴリズムまたはモデル構造によって定義されます。

まず、0-1 損失関数は、最も直接的な分類誤差の尺度です。特定の分類子$h$は、単に誤って分類されたデータポイントの数をカウントします。数学的には、これは次のように定義されます:$\underset{h}{\mathrm{引数}}E\left[1_{Y\ne sign\left(h\right(X)}\right]$。しかし、私たちがよく遭遇する問題は次のとおりです。

1. 実データの分布$P(X,Y)$は不明なので、上記の期待値を直接計算することはできません。
2. 0-1 損失は不連続かつ非凸であるため計算が難しく、最適化が複雑になります。

大数の法則は、確率変数のサンプル平均と母集団平均の間の関係を説明します。これにより、サンプル サイズが無限大に近づくにつれて、サンプル平均が全体の平均に近づくことが保証されます。より正式には、確率変数$X$、その期待値は$E\left[X\right]$。XXの場合$X$の$n$個の独立した同一分散サンプル${バツ}_{}、{バツ}_{}、\dots 、{バツ}_{}$、標本平均は${バツ}_{}=\frac{}{n}{\sum }_{i=1}^{}{バツ}_{}$当$n\to \infty$時、${バツ}_{}\to E[\_\_$ _

大数の法則により、これらのサンプルを使用して、予想損失などの特定の分布に依存する数量を推定できます。私たちの目標は、仮説によってhhを推定することであると仮定します。$h$ [ 1 Y ≠sign ( h ( X ) ) ] \mathbb{E}[1_{Y \neq \text{sign}(h(X))}] によって生じる期待損失E$E\left[1_{Y\ne \text{記号}\left(h\right(X)}\right]$。実分布からの$この期待値を推定するにはD$ :

$$\frac{}{n}\sum _{i=1}{1}_{Y_{}\ne \text{記号}\left(h\right(X_{})}$$

サンプル数$n$が増加すると、上記の推定値は真の予想損失に近づきます。

実際に問題を解決できるようにするために、いわゆるサロゲート損失関数を使用します。これは最適化の観点からより扱いやすいですが、依然として 0 ～ 1 の損失関数に近似することを目指しています。

• ヒンジ損失: これはサポート ベクター マシンで使用される損失関数です。
  $$\ell (X,やあ、h)=\mathrm{最大}\{0,1-や(X)\}$$

• ロジスティック損失: これはロジスティック回帰で使用されます。これは外れ値に対してより堅牢であり、確率の適切な推定値を提供します。

• 最小二乗損失: 主に回帰問題で使用されます。

• 指数損失: AdaBoost アルゴリズムで使用される損失関数です。

最も一般的な代替損失関数は、大きなサンプル制限における 0 ～ 1 の損失関数の影響をシミュレートするように設計されています。これらは、分類校正された代替損失関数と呼ばれます。これは、トレーニング データが無限の場合、これらの損失関数を使用してトレーニングされた分類器は、0 ～ 1 の損失で真の最良の分類器と一貫して動作することを意味します。

代理損失関数$\ell$と対応する関数$\varphi$は、ϕ$\varphi \left(Yh\right(X))=\ell (X,やあ、h)$。ここで、$Y$はラベルで、値は$(-1、1)$、および$h\left(X\right)$は入力XXの分類子です。$X$の予測スコア。ℓ \ell を確認するには$\ell$が分類校正されているかどうかは、通常次の条件を確認します。

1. $\varphi は$凸です。
2. $\varphi$は 0 で微分可能であり、${\varphi }^{\text{'}}\left(0\right)<0$。

上記の条件を満たすということは、ほとんどの場合、特定のデータ ポイントに対して分類子$h$がエージェントの損失を最小限に抑えると、0-1 の損失も最小限に抑えられます。

たとえば、ヒンジ損失ℓ ${\ell }_{}(X,やあ、h)=\mathrm{最大}\{0,1-や(X)\}$

対応する$\varphi$関数は、$\varphi \left(z\right)=\mathrm{最大}\{0,1-z\}$

この関数は$z=1$では微分できません$z=$これは$0で微分可能であり、その導関数は\; 0\; 未満であるため、ヒンジ損失は分類校正されます。$

ここで、次の 2 つの分類子の定義について考えてみましょう。

• $h_{}$は、限られたトレーニング データと代理損失関数に基づく最適な分類器です。
• $h_{}$は、データ分布全体と 0-1 損失関数に基づく最適な分類器です。

サロゲート損失関数とトレーニング データを使用すると、$h_{}$：

$$h_{}=\underset{h}{\mathrm{引数}}\frac{}{n}\sum _{i=1}\ell （X_{}、Y_{}、h)$$

同時に、データ全体の分布がわかれば、$h_{}$：

$$h_{}=\underset{h}{\mathrm{引数}}E[1_{Y\ne \text{記号}\left(h\right(X)}】$$

トレーニング データが無限に大きい場合、代替損失関数を使用して$h_{}$0-1 損失関数を使用して取得された$h_{}$ますます近くなります。これは次の式で表すことができます。

$$E[1_{Y\ne \text{記号}\left(h_{}\right(X)}】\stackrel{n\to }{⟶}E[1_{Y\ne \text{記号}\left(h_{}\right(X)}】$$

これは、限られたサンプル データセットに基づいてプロキシ損失を最適化するとき、実際にはそのデータセットの経験的損失を最適化していることを意味します。大数の法則により、サンプル数が増加するにつれて、この経験的損失の期待値が真の期待損失値に近づくことが保証されます。また、プロキシ損失が分類調整されている場合、このプロキシ損失を最適化すると、暗黙的に 0-1 損失が最適化されます。トレーニング データのサイズが無限大に近づくにつれて、代理損失関数を最小化することで得られる分類器の予想される 0-1 損失は、最適な 0-1 損失に近づきます。

置換損失関数が凸で滑らかな場合、勾配降下法やニュートン法などの一連の最適化アルゴリズムを使用して、次の問題を解決できます。 h = arg min ⁡ h ∈ H 1 n ∑ i =
$$h=\underset{h\in H}{\mathrm{引数}}\frac{}{n}\sum _{i=1}\ell （X_{}、Y_{}、h)$$

関数 (f(h)) が点 (h_k) で微分可能であると仮定すると、テイラー級数を使用して (h_k) 付近の関数の値を近似できます。 f ( x + Δ x ) ≈ f ( x ) + ∇ f
$f(x+\Delta \times ）\approx f(x)+\nabla f(x{)}^{T\Delta x}\_\_+\frac{}{2}\Delta x\_{\_}^{た}{\nabla }^{2}f\left(x\right)\Delta x+\dots$

上記の近似 (線形近似) の第 1 項と第 2 項だけを考慮すると、次のようになります:
$f(h+\Delta h)\_\approx f\left(h\right)+\nabla f(h{)}^{T\Delta h}\_\_$

ここで、勾配降下法の更新ステップを考えてみましょう: $h_{k+}=h_{}+d{\_}_{}$、ここで$d_{}$は下降方向、$\Delta 時間=d{\_}_{}$。Δ h \Delta hを見つけたいです。$\Delta h$ sacef$f(h+\Delta h)$はできるだけ小さいです。上記の線形近似から、 f ( h + Δ h ) f(h + \Delta h) を作成することがわかります。$f(h+\Delta h)$ ∇ f ( h ) T Δ h \nabla f(h)^T \Delta hの増分$\nabla f(h{)}^T\Delta h$はできるだけ小さい、$\Delta h\; は$勾配$\nabla f\left(h\right)$の反対方向に整列します。したがって、通常は負の方向の勾配が選択されます$-\nabla f\left(h\right)$は下方向です。

ただし、特定の点で関数の曲率情報を使用したい場合、または最適化プロセスを高速化したい場合は、$D^k$個の行列、行列$D^k$は、前処理行列またはスケーリング行列と呼ばれることがよくあります。

一般的な更新規則を考慮すると、$h_{k+}=h_{}-D{\_}^k\nabla f(h_{}）$。その中で、$D^k$は正定対称行列です。正の確実性により、更新された方向が下向きであることが保証されます。つまり、$\nabla f(h_{}{)}^{TD}{\_}^k\nabla f(h_{})>0$。

• 最急降下

  $D^k=私$

  このとき、行列$D^k$は単位行列です。これは、勾配の負の方向にのみ移動することを意味します。

• ニュートン法

  $D^k=\left[{\nabla }^{2f}\right(h\_{}_{}){]}^{-1}$

  ここで、行列$D^k$はヘッセ行列の逆行列で、関数の曲率情報を与えます。ヘッセ行列の逆行列を使用すると、アルゴリズムの収束が速くなりますが、特に高次元では計算コストが高くなる可能性があります。

下降方向$d_{}$,正確な直線探索の仕様: $の=\underset{の}{\mathrm{引数}}f(h_{}-\eta \nabla f(h_{}))$

簡単に言えば、ステップ サイズ$\eta$、現在位置から$h_{}$開始、勾配方向に沿って$eta$ステップ サイズの後$f\; は$最小値に達します。この方法では最適なステップ サイズを見つけることができますが、実際のアプリケーションでは、反復ごとに新しい最適化問題を解決する必要があるため、コストがかかる可能性があります。

L-リプシッツ連続は、成長率が制限されている関数を記述します。関数がリプシッツ連続性を満たす場合、関数の変化率は任意の 2 点間で有限であり、特定の定数によって制約されます。

関数$f$ 、正の定数LLが存在する場合$L$ 、ドメイン内の${バツ}_{}$そして${バツ}_{}$、すべて次の条件を満たします:
$$|f(x_{})-f(x_{})|\le L||x_{}-{バツ}_{}||$$
の場合、関数$f$は L-リプシッツ連続です。

勾配が L-リプシッツ連続であることがわかっている場合、学習率は次の式を使用して選択できます。

$$h_{k+}=h_{}-\frac{}{L}\nabla f\left(h_{}\right)$$

• 勾配降下:

  • 仮定:
    • リプシッツ勾配: これは、勾配 (または導関数) の変化が上限に従うことを意味します。
    • 凸関数: 関数は、その領域上で少なくとも局所的に凸です。
  • 収束率:
    $○\left(\frac{}{k}\right)$
    これは、アルゴリズムの誤差が反復回数 k に反比例して減少することを意味します。

• 勾配降下:

  • 仮定:
    • リプシッツ勾配
    • 強い凸性: 通常の凸関数よりも厳密な凸性。これは、関数に下限があることを意味します。
  • 収束率:
    $○{\left(1-\frac{}{L}\right)}^{そのうちのk}$
    、$\mu$は強い凸性パラメーター、$L$はリプシッツ定数です。この収束速度は、単純な凸関数よりも高速です。

• ニュートン法:

  • 仮定:
    • リプシッツ勾配
    • 強い凸面
  • 収束率:
    $\sum _{i=1}{r}_{}$
    このうち、$r_{}\to 0$。これは、ニュートン法が、特に最適解に近づく場合に非常に早く収束することを意味します。

\textbf{ニュートン法とその変形}:

ニュートン法は、実数領域または複素数領域で関数のゼロを見つけるために使用される反復最適化アルゴリズムです。機械学習と最適化では、損失関数の最小値を見つけるためにニュートン法がよく使用されます。この方法の中心的な考え方は、関数の 2 次テイラー級数展開を使用して、関数のゼロ点または最小値を反復的に近似することです。

ニュートン法の利点は、関数が二次関数の場合、1 回の反復で最小値を見つけることができることです。

• 実際には、ヘッセ行列とその逆行列の計算は、特に次元が高い場合には困難になることがあります。したがって、ニュートン法のいくつかの実用的な変形が提案されています。

• ヘッセ行列を変更して正定値であることを確認する:
  ヘッセ行列が可逆かつ正定値であることを確認するには、たとえば正則化項を追加するなどして、ヘッセ行列をわずかに変更します。

• ヘッセ行列を 1 分ごとに計算する:
  ヘッセ行列の計算は計算量が多くなる可能性があるため、1 つの戦略はヘッセ行列を 1 分ごとに計算し、他の繰り返しでは最後に計算されたヘッセ行列を使用することです。

• ヘッセ行列の対角要素のみを使用する:
  ヘッセ行列の対角要素のみを考慮することにより、計算の複雑さを大幅に軽減できます。この方法は対角ヘシアン ニュートン法と呼ばれます。

• 準ニュートン法:
  準ニュートン法は、ヘッセ行列を直接計算せずに近似することを目的とした方法です。その中でも、BFGS (Broyden-Fletcher-Goldfarb-Shanno アルゴリズム) と L-BFGS (Limited-memory BFGS) が最も有名な準ニュートン法です。L-BFGS は、ヘッセ行列の最新の更新のみを保存する BFGS のメモリ効率の高いバージョンです。

機械学習では、近似誤差と推定誤差という 2 つの主な誤差原因がよく考慮されます。近似誤差は、事前に定義された仮説空間$H$の制限によって生じる誤差$h^{\ast }$と目標コンセプト$c$との違い推定誤差は、限られたサンプル サイズに起因する誤差であり、データから学習された仮説$h_{}$そして最適仮説$h^{\ast }$の違い。

ターゲットコンセプトccの場合事前に定義された仮説空間HH$内のc$$H$の場合、近似誤差はゼロになります。ただし、大規模で複雑な仮説空間を選択すると近似誤差は低減できますが、モデルがデータに過剰適合する可能性があるため、推定誤差が増加します。

実際のアプリケーションでは、限られたトレーニング サンプルから学習した知識を、新しいまだ見たことのないデータにどの程度適用できるかを理解したいと考えています。PAC 学習フレームワークは、事前定義された仮説クラスからほぼ最適な仮説を学習するために必要なトレーニング サンプルの数に上限を与えます。このフレームワークは、学習アルゴリズムの一般化パフォーマンスの理論的基盤を提供します。これにより、トレーニング データ セットのサイズ、仮説クラスの複雑さ、学習されたモデルの汎化誤差の間の関係が明らかになります。

クラス$H$は PAC 学習可能です。これは、新しいデータの誤差が仮説クラス内の最良の仮説の誤差から ϵ \epsilon 未満である仮説クラスから仮説を選択できるアルゴリズムがあることを意味します$ϵ$であり、これが起こる確率は少なくとも$1-d$。

学習アルゴリズム$A$と多項式関数$ポリ(\cdot ,\cdot \_)$、任意の$ϵ>0$および$d>0$ 、 X × YX \times Yで定義されたすべての場合$バツ\times Y$の$D$、サンプルサイズ$ninterpoly$ ( 1 δ , 1 ϵ ) ポリ(\frac{1}{\delta}, \frac{1} {$ポリ（\_\_\_\frac{}{d}、\frac{}{ϵ})$、次にアルゴリズムA \mathcal{A}学習された仮説$h$$h_{}$以下の条件:

$$p\left\{R\right(h_{})-\underset{h\in H}{}R(h)\le ϵ\}\ge 1-d$$

その中で、$ϵ$は許容できる誤差の上限であり、$1-\delta$は必要な信頼度、$R\left(h_{}\right)$は経験的リスクの最小値$R\left(h\right)$は、予想されるリスクの最小値です。。

仮想クラス$H$が複雑すぎるため、指数関数的なレベルのトレーニング サンプルが必要になる可能性があります。つまり、$n>e\times p(\frac{}{d}、\frac{}{ϵ})$上記の不等式が成り立つことを確認します。この場合、クラス$H$は PAC では学習できません。

経験的リスク最小化 (ERM) アルゴリズムを使用して、仮説クラスが PAC 学習可能かどうかを検証します。

経験的リスク最小化 (ERM) は機械学習の基本戦略であり、その目標は仮説$h\in H\; は、$トレーニング データのリスク (または損失) を最小限に抑えます。正式には、トレーニング セット$S$、ERM 戦略は仮説を選択しますhh経験的リスクを最小限に抑えるための$h$$R_{}\left(h\right)$。

$$h_{}=arg\_\underset{h\in H}{}{R}_{}\left(h\right)$$

其中 $R_{}\left(h\right)$は経験的リスクであり、トレーニング データの平均損失です。

経験的リスク最小化 (ERM) アルゴリズムを使用して、仮説クラスが PAC 学習可能かどうかを検証します。

トレーニング データが十分に大きい場合、仮説h S h_S がERM によって選択されます。$h_{}$トレーニング データのパフォーマンス (経験的リスク) は、分布全体でのパフォーマンス (実際のリスク) に近くなります。ただし、経験的リスクが低くても、実際のリスクは高くなる可能性があります。この現象はオーバーフィッティングと呼ばれます。

仮説空間が複雑であればあるほど、選択される仮説$h_{}$最良の仮説$h^{*}$の差はPAC フレームワークは、この差を測定し、経験的リスクと真のリスクの差が特定のしきい値未満であることを確認するために必要なトレーニング データの量を決定する方法を提供します。

したがって、仮説クラスが PAC 学習可能かどうかを検証するには、次のことを確認する必要があります。

• 十分に大きなトレーニング データ セットの場合、その仮説クラスに関して ERM によって生成された仮説の真のリスクと経験的リスクの差は、指定されたしきい値 ϵ \ epsilon 未満になります$ϵ$。
• これを達成するには、真のリスクと経験的リスクの差を推定または制限し、それが$ϵ$。これは通常、複雑さの正則化や、VC 次元、Rademacher 複雑さなどのツールを利用して行われます。

VC 次元 (Vapnik-Chervonenkis 次元) は、仮説空間 (またはモデル クラス) の複雑さを測定するために使用されるツールです。これは、特定の仮説クラス (またはモデル クラス) を学習する必要があるサンプル データの数を判断し、良好な汎化パフォーマンスを確保するための理論的ツールを提供します。

与えられた仮説クラス$H$。その VC 次元は、仮説クラスによって分割できる最大の点セットのサイズです。つまり、サイズ$d$データセット。このddについては、$d$点の考えられる分類ラベルには$h\in H\; は$点を完全に分離できますが、任意のサイズ$d+1$のセットでは$H$のVC寸法は$d$。

より視覚的に理解するには、2 次元平面上の線形分類器を考えてみましょう。線形分類器は、同じ直線上にない 3 つの点の可能なすべての分類を完全に分離します。ただし、任意の 4 つの点について、考えられるすべての2 4 = 16 2^4 = 16を分類できる線形分類器があるかどうかは保証できません。$2^4=16\; の$タグの組み合わせで、これら 4 つのポイントを完全に分類します。したがって、2 次元平面上の線形分類器の VC 次元は 3 になります。

高い VC 次元を持つ仮説クラスは、低い VC 次元を持つ仮説クラスよりも複雑です。これは、VC 次元が高い仮説クラスは過剰適合のリスクが高い可能性があることを意味します。

VC の不平等 これは、実際のリスク (つまり、分布全体に対するリスク) と経験的リスク (つまり、トレーニング データに対するリスク) の間の関係を提供します。仮説クラスの VC 次元とトレーニング データセットのサイズを考慮すると、VC 不等式は、真のリスクと経験的リスクの差が特定の値を超えない確率を示します。

$$\mathrm{広報}(|R(h)-R_{}(h)|>)\_\le 4m{\_}_{}(2n)\_\mathrm{経験値}\left(-\frac{nϵ{\_}^{}}{8}\right)$$

ここで、${メートル}_{}\left(n\right)$は仮説空間HH分割できる$H$$n$の点集合の数$R\left(h\right)$は実際のリスク、$R_{}\left(h\right)$は経験的リスクです。

上記の不等式から、特定の汎化誤差を達成するために必要なトレーニング サンプルの数を推定できます。これは、特定の仮説クラスが PAC 学習可能かどうかを判断するのに役立ちます。

PAC 学習では、学習された仮説が良好な一般化パフォーマンスを持っていることを確認するために、実際のリスクと経験的リスクの差を制御するのに十分なサンプルが必要です。VC ディメンションは、必要なサンプル サイズを推定する方法を提供し、仮説クラスが PAC 学習可能かどうかを検証できるようにします。