シリーズのブログ、GitHubの上で維持原作者：https://aka.ms/beginnerAI、
より多くの意味するものではありません星と星をクリックして、著者難しく星。
第3章損失関数
機能の喪失に3.0入門
3.0.1コンセプト
多くの場合、英語の単語で見られる様々な材料である：エラー、バイアス、エラー、コスト、損失、損失、費用......ほとんどすべての平均、本書では、「機能の喪失」と「損失を使います両方の単語、特定の損失関数Jは、シンボルによって表される関数」は、エラー値は損失を発現しています。
「損失」が「エラー」の全てのサンプルの和、（mはサンプルの数である）です。
\ [損失= \和^ M_ _iエラー\ {iは1 =}]
\ [J = \ sum_ {I = 1} ^ M損失\]
ブラックボックスのケースでは、「サンプルの損失が」間違っている場合は、サンプルが計算されているので、それだけで「サンプルエラー」と言うことができると言います。我々は完全に独立したサンプル出力誤差を満たすために、ニューラルネットワークのパラメータを調整した場合、そのエラーはしばしば、損失関数の値及び誤差のようなより大きな他のサンプルを、となるように、ゼロであり、大きくなります。だから、右の重量のサンプルに基づいて誤差調整後の通常我々、全体的なサンプル計算の値の機能の喪失、ネットワークを決定するためには、すでに許容可能な状態に訓練を受けていません。
損失関数の役割
役割の機能の喪失は、さらにトレーニングが正しい方向に行わ案内するように、前方及び各反復のためのニューラルネットワークの実際の結果との間のギャップを計算することです。
損失関数を使用する方法？具体的な手順：
- ランダムな初期化と計算値のパラメータ。
- サンプル、予測値算出出力を置き換えます。
- 損失関数の誤差の予測値とタグ値（真値）を算出します。
- 損失関数の導関数、最小のエラー復帰の方向に沿った勾配の補正演算式の前にそれぞれの重みの重み値。
- 損失関数値が良好な値に達するまで2後藤、反復を停止します。
3.0.2一般的に使用される機械学習損失関数
シンボリックルール：予測値、yはサンプル値タグであり、Jは、損失関数値です。
ゴールド・スタンダード損失、又称0-1误差
\ [損失= \ {ケース}を始める0 = Y \\ 1＆\ NE Y \端{ケース} \]絶対値の損失関数
\ [損失= | YA | \]
- 主にSVMのためのヒンジ損失、ヒンジ/折り目損失関数または最大境界損失関数、（サポートベクターマシン）されました
\ [損失= MAX（0,1-Y \ CDOT A）、Y = \ PM 1 \]
- また、クロスエントロピー損失関数（クロスエントロピー誤差）として知られているログ損失、対数損失関数、
\ [損失= - \ FRAC {1} {M} \ sum_i ^ M Y_Iログ（a_iを）+（1-Y_I）ログ（1-a_iを）\ qquad Y_I \で\ {0,1 \} \]
二乗損失、平均二乗誤差損失関数
\ [損失= \ FRAC {1 } {2メートル} \ sum_i ^ M（a_iを-Y_I）^ 2 \]指数関数的な損失、指数損失関数
\ [損失= \ FRAC {1 } {M} \ sum_i ^私^ { - （Y_I \ CDOT a_iを）} \]
3.0.3損失関数の画像理解
単変量損失関数を理解する二次元画像と機能に影響を与えます
図3-1損失関数変量
図3-1において、縦軸は損失関数の値であり、横軸は可変です。常に変数の値を変更し、機能が損失の値の上昇や下落の原因となります。勾配降下アルゴリズムは、関数値の下落の損失の方向に前進することが可能となります。
- 我々は、初期位置の点Aは、と仮定する\（X = X0 \） 、損失関数の値（縦軸）が大きい、トレーニングを行うためにネットワークへ戻ります。
- 最初の反復の後、我々は、点Bに移動\（X- = \ X1） 、損失関数値が再び再訓練戻り、それに応じて低減されます。
- このリズムは、最低点の損失関数に閉じるように続けて、我々は経験した（X2、X3、X4、X5 \）\ ;
- 値の損失のような許容可能なレベルに達するまで\（X5 \）停止トレーニングに位置します。
図は、等高線と損失関数の二変量効果を高く評価しました
図3-2、図損失関数の二変量
図3-2において、横軸は可変である\（W \） 、縦軸は別の変数である\（B \） 。二つの変数の組み合わせの損失関数値が一つだけが輪郭線で点座標対応する図面において、形成されています。\（\ B、W）損失関数の値から形成されたマトリックスの異なる値の全ての組み合わせ、我々は同じマトリックスを有する（同様の）損失関数値点は、不規則な楕円を形成してもよく、互いに連結、その中心位置、それはゼロ位置の値の損失ですが、また、私たちは、目標に近づけるようにしたいです。
損失関数の値を算出することによりプレーンの等高線として楕円うつ病、発現、エッジ位置の中心位置よりも低い、関数導出の損失は、輪郭に沿って梯子を形成するために、私たちをもたらしますステップドロップ、無制限の近似中心点によってステップ。
3.0.4一般的に使用されるニューラルネットワークの損失関数
主にリターンのための平均二乗誤差関数、
主分類に使用するクロスエントロピー機能、
双方は、底極値非負関数である勾配降下法によって解くことができます。