機械学習ノート 2 - 比較テスト

比較テスト

1. なぜ比較テストを導入する必要があるのですか?

2 人の学習者の学習パフォーマンスを比較したい場合、パフォーマンスの尺度に関する 2 つの値を見つけて、それらを定量的に比較するだけで十分ではありません。なぜなら、機械学習では、学習者のパフォーマンスの比較には多くの側面が含まれており、これらの側面が矛盾する場合があるからです。

学習パフォーマンスを評価するために考慮する必要がある主な要素は次のとおりです。

• 一般化能力、つまり、機械学習アルゴリズムが新しいサンプルに適応する能力。たとえば、大学入学試験では、ほとんどの人が「5 月 3 日」のテストを受け、たくさんの問題に答えますが、大学入学試験では、試験で良い点を取れる学生と、そうでない学生がいます。その理由は、大学入学試験の問題は、私たちが普段訓練しているオリジナルの問題ではあり得ず、誰もやったことがないためであり、学生によって一般化能力が異なるため、1つの例から推論する能力には差が生じるからです。結局のところ、結果は人それぞれ大きく異なります。高校生が 1 つのインスタンスから他のケースを推測する能力を機械学習に適用することが、学習者の一般化能力です。
• テスト セット、異なるサイズ、および異なるサンプルのテスト セットの選択により、異なるトレーニング結果が得られる可能性があります。
• アルゴリズムのランダム性、機械学習はブラック ボックスであるため、特定の実行プロセスを知ることはできません。同じ学習器で同じパラメータを使用して同じテスト セットを実行すると、異なる結果が生成される可能性があります。

したがって、機械学習の比較テスト問題を具体的に研究する必要があります。

2. いくつかの比較試験方法

1. 仮説検定 - 二項検定

まず 2 つの概念を紹介します。

• 1 つ目は汎化誤り率$e\; は$、通常の状況下で学習者がサンプルの分類に誤りを犯す確率を指しますが、実際の状況ではその正確な値を知ることはできません。
• 2 番目のものはテスト誤り率$e^{\text{'}}$、つまり、学習者はサイズ m のサンプルセットをテストするときにたまたま$e^m個$のサンプルは誤分類されており、この値は通常の状況下でのみ取得できます。

2 つの違いは、一般化エラー率は取得できない理論値であるのに対し、テストエラー率は測定可能な値であることです。統計的仮説検定の方法はe ' e'を使用することです$e^{\text{'}}$推定$e$の値。

一般化誤り率は$e^{}$サイズmm${}^{をテストする学習者}$$m$のテストサンプルセットでは、正しい場合と間違っている場合の 2 つのケースのみが存在します。ここで、$e^{\text{'}}m$は誤って分類され、残りは正しく分類されているため、これは典型的な二項分布であり、検定の誤り率分布関数を取得できます: P ( e ' ; e ) = ( me ' m ) ee '
$$P(e^{\text{'}};e)=\left(\begin{array}{c}メートル\\ e^{「ん}\end{array}\right)e^{e^{\text{'}}m}(1-e{)}^{m-e^{\prime }m}$$
对$P(e^{\text{'}};e)$ eeについて$e$の一次導関数を$\delta P(e^{\text{'}};e)/de=0$，解得$e=e^{\prime }$时，$P(e^{\text{'}};e)$最大；$|e-e^{\prime }|$增大，$P(e^{\text{'}};e)$二項分布と同様に減少します。

Xigua の本は少しわかりにくいため、二項仮説テストをより簡単な方法で説明してみます。

前提条件: 分布関数の場合、それが二項分布であることはわかっていますが、この二項分布のパラメーター (二項分布には正の確率 p であるパラメーターが 1 つだけあります。この例では汎化誤差率です) は不明です。 。

仮説的な方法

• 仮説的な方法を使用して、パラメータ値の「しきい値範囲」を人為的に指定できます。この例では、$e\le e_{}$；

• 次に、客観的なニーズまたはいくつかの計算式に基づいてテストの信頼水準$\alpha$ , この変数は明らかな誤差の標準を表します。たとえば、この二項分布で 6 より大きい確率は$\alpha$、しきい値を$\alpha \; は、$学習者の分類エラーの数が 6 より大きい場合、それは明らかなエラーであると考えることを意味します。この仮定は当てはまりません。

• 逆に、$1-\alpha は$明らかな誤差が生じない基準、すなわち信頼できる基準を表す。

ここでは、この1 − α 1-\alphaを使用します。$1-\alpha$ 、この信頼水準の下でe 0 e_0と仮定することを推定します。$e_{}$それは合理的ですか？

仮定の妥当性を判断する

合理性を判断する方法は2つありますが、ここでは主に西果本にある方法を紹介します。

一般的な考え方は次のとおりです。設定した$1-\alpha$の値は、この値以下の分布曲線の積分領域を見つけるための制約として使用されます。この本の例では、棒 1 の統計グラフが使用されており、各棒の水平座標と垂直座標を乗算し、合計演算を実行すると、それは1 − α 1-\alpha以下になります。$1-\alpha$の最大値、そして最終的にこのときの$e_{}$；

計算式は次のようになります。
$$\sum _{私=e_{}m+1}\left(\begin{array}{c}メートル\\ \end{array}\right)e^{私}(1-e{)}^{m-i}<1-\alpha と$$は、この棒グラフの「横軸と縦軸の面積」を左端の棒から累積し、 1−α 1-\alpha
ぎりぎり以下になるまで足していくという意味です。$1-\alpha$まで

この時点でiiを取り出します$i$、対応する横軸は許容可能なしきい値標準であり、プリセット$e_{}$e 0 e_0の場合、それと比較します。$e_{}$この閾値基準よりも小さい場合、その仮定は許容可能であり、合理的な仮定であることを意味し、そうでない場合は、不合理であり、再仮定する必要があることを意味する。

実際、結局のところ、これは「自ら作成し、自主的に行う」プロセスです。要約すると、まず二項分布の特性から大まかなしきい値を取得し、次にこの中でより正確な点を見つけます。しきい値。さまざまな学習者に対して、この方法を使用してパラメータを手動で設定し、2 つの学習者の品質を比較できます。

2. 仮説検定 - t 検定

結果の普遍性と正確性を保証するために、多くの推定テストを実行します。k 個の誤り率$e_1^{}、。。。。、e_k^{}$そうすると、平均エラー率$\mu$と分散$d^2$の：
$$\begin{gathered} メートル=\frac{}{k}\sum _{i=1}{e}_{私}^{}， \\ {d}^2=\frac{}{k-1}\sum _{i=1}(e_{私}^{}-メートル{）}^{2.} \end{gathered}$$
推定された各検出は独立しているため、この確率分布関数は次のように書くことができます。T t = k ( μ − e 0 ) δ T_t=\frac{\sqrt{k}(\mu-e_0)}{ $$\backslash$$
$$T_{}=\frac{\sqrt{k}(m-e_{}}{d}$$
ここで、この$e_{}$は汎化誤り率であり、正規分布を満たす関数です。

次に、二項検定と同じように信頼水準α \alphaを設定します。正規分布曲線の両側の$\alpha$$\frac{}{2}$図に示すように、各位置で明らかなエラー間隔を取得します。

次に、しきい値間隔$メートル=e^{\text{'}}$、白い画像曲線の下の定積分を計算します (棒グラフの計算方法については二項検定を参照)。e '$e^{\text{'}}$信頼水準$\alpha$で導入される範囲内であれば許容されます。

両側 t 検定で一般的に使用される臨界値テーブル:

この部分の全体的なプロセスは二項検定と非常によく似ていますが、式と分布曲線が異なることを除けば、残りのステップは二項検定からコピーできるため、ここでは詳しく説明しません。

3. 相互検証 t 検定

上記の 2 つの方法は、主に 1 人の学習者のパフォーマンスを測定することを目的としていますが、複数の学習者の場合は、k 分割交差検証 t 検定を使用して完了できます。

たとえば、k 回のテスト後の 2 人の学習者 A と B の誤り率は、$e_1^{}、。。。、e_k^{}$，$e_1^{}、。。。、e_k^{}$，其中$e_{私}^{}、e_{私}^{}$は、k 分割トレーニング後に取得された i 番目の分割結果です。トレーニング結果とテスト結果の各セットの差を求めます: $D_{}=e_{私}^{}-e_{私}^{}$；

各テストが互いに独立していると仮定すると、$D_{}。。。D_{}$k 回の性能差の独立したサンプリング プロセスとして扱われ、このデータ セットの平均$\mu$と分散$d^2$，因此我们有：
$$\alpha は受け入れ可能です。\_\_\_\_\_\_\_\_\_と。T{}_{}=abs\left(\frac{\sqrt{k}}{d}\right)<t_{\frac{}{2}}$$
このプロセスの考え方は、信頼水準$\alpha \; を$計算し、しきい値が許容可能な信頼範囲内にあるかどうかを判断します。

実際、トレーニング/テスト セットは簡単に重複する可能性があるため、各テストは必ずしも互いに独立しているわけではありません。

トレーニング セットとテスト セットが重複している場合、得られる k 分割テスト結果には、ある程度の相関性と類似性があると大まかに推測できます。それでもこれらのテスト結果が互いに独立していると仮定する場合、つまり、もともと「くっついていた」結果の束を「くっついていない」ものとして扱う場合、それは仮説の許容範囲が実際には大きすぎることを意味し、仮説が真実である確率を過大評価することになります。

したがって、「5×2 相互検証」を使用して、この問題を軽減できます。いわゆる 5×2 は、2 分割交差検証を 5 回行うことを意味します。分割が繰り返されないように、各 2 分割交差検証の前にデータを破壊する必要があります。基本的な考え方は次のとおりです。

• 2 人の学習者 A と B について、それぞれの 2 分割交差検証により 2 セットのテスト誤り率が生成され、それらの差を計算し、最初の分割での差 Δ i 1 \Delta_i^1 を取得します$D_{私}^{}$と 2 番目の折り目の差$D_{私}^{}$；

• 最初の 2 分割検証${メートル}^{\text{'}\text{'}}$ 、各 2 倍実験結果の$d^{\text{'}2}$ 、平均値はμ ' \mu'の前の最初の分割の平均です${メートル}^{；}$ _

• その確率分布関数は次のとおりです:
  $$T_t^{}=\frac{{メートル}^{}}{\sqrt{0。2{\sum }_{i=1}^{}{d}_{私}^{}}}$$

これにより、テスト結果間の独立性の問題が軽減されるのはなぜですか? 平均値は 1 つのテスト結果の誤り率のセットにすぎないため、これは実際には非常に簡単です。分散を計算する際、後続のすべてのテスト結果では以前の誤り率のセットが使用されるため、分散のサイズは元のデータと同じになります。 1 つ目はテストのエラー率に関するものです。しかし、最初のテストの結果がより現実的であれば、この方法はより説得力を持つものになると思います (個人的な考えを修正することは歓迎します)。

4. マクネマー検定

このテスト方法の主なアイデアは、2 つの 2 カテゴリ学習者の分類結果の分割表をリストし、2 つの学習者のパフォーマンス差のカイ二乗分布関数を導出し、仮説を実行することです。次に、この方法を大まかに説明します。

• まず、2 人の学習者 A と B の二項分類結果の分割表をリストします。
  

• 然后取$|e_0-e_1|$、この変数は正規分布に従います。この検定方法では、変数
  $$T_{{バツ}^{}}=\frac{(|e_0-e_1|-1{)}^{}}{e_0+e_1}$$

• これは自由度 1 のカイ二乗分布です。残りの仮説検定手順は上記と同じです: 仮説の信頼水準を作成し、許容範囲を導出し、仮説のしきい値が許容範囲内にあるかどうかを検定し、結論を導き出します。 。

5. フリードマンテストとネメニ追跡テスト

交差検証 t 検定とマクネマー検定はペアごとの比較にのみ適していますが、複数のアルゴリズムの学習者を比較する場合、アルゴリズムをペアごとに比較するのは明らかに面倒なので、同じデータセットで 2 つのアルゴリズムを比較できる方法が紹介されています。複数のアルゴリズムを比較するためのテスト方法。

F テスト法の基本的な考え方は、同じデータセットのテスト結果に基づいて学習者のパフォーマンスを並べ替え、順序値があれば 1、2、3... を割り当てることです。同様に、次の図に示すように、順序値は均等に分割されます。

パフォーマンスが良いほど、割り当てられる値は小さくなり、各データセットに対する各アルゴリズムの平均順序値$r_{}$；

ここで、表内のデータは単なる特殊なケースであることに注意してください。異なるデータセットでは、アルゴリズム A がそれほど優れていない可能性があるため、この平均順序値は、小さい順序値を持つアルゴリズムが優れている必要があることを完全に意味するわけではありません。アルゴリズム B と 2 種類の学習 このアルゴリズムでも、同じデータセットに対して同様の結果が得られる可能性があるため、推定しきい値を使用してどちらのアルゴリズムが優れているかを判断する必要があります。

k 個のアルゴリズムが N データセット、$r_{}$の平均と分散はそれぞれ$(k+1)/2$および$(k^2-1)/12N$、分布関数が得られます (導出プロセスは省略します):
$$\begin{gathered} T_{{バツ}^{}}=\frac{12}{k(k+1)}(\sum _{i=1}{r}_{私}^{}-\frac{k(k+1{)}^{}}{4}) \\ {T}_{}=\frac{(N-1)T_{{バツ}^{}}}{N(k-1)-T_{{バツ}^{}}} \end{gathered}$$
$T_{{バツ}^{}}$オリジナルのフリードマン検定分布関数$T_{}$は F 検定分布関数です。このアルゴリズムでは、Xiguashu は明確に臨界値テーブルを提供します。

受け入れ可能性のテストは上記と同じです。

すべてのアルゴリズムのパフォーマンスが同じであるという仮説が拒否された場合は、アルゴリズムをさらに比較するために後続のテストが必要になります。前のステップでは、k 個のアルゴリズムのすべてが同じパフォーマンスを持つわけではないことしか理解していなかったので、今度は、異なるパフォーマンスを持つ学習器を「見つけて」、どれが優れているかを比較する必要があります。

以下に、Nemenyi テスト アルゴリズムの具体的なプロセスを紹介します。

基本原理は、2 つのアルゴリズムの平均次数値の差と CD 値を比較することであり、平均差が CD 値を超えた場合、2 つの学習器のパフォーマンスに差があることを意味します。

CD 値の計算式は次のとおりです。
$$CD=q_{}\sqrt{\frac{k(k+1}{6N\_}}$$
ここで、$q_{}$値の表は次のとおりです。

2 つの順序値の差が CD 値よりも大きい場合、平均順序値が小さいアルゴリズムの方が、平均順序値が大きいアルゴリズムよりもある程度優れています。

振り返ってみると、平均順序値は単なる参考要素であり、アルゴリズムの品質を測定するために平均順序値をより厳密に使用する前に、フリードマン テストとネメニ追跡テストを使用する必要もあります。

次のセクション: 機械学習ノート 3 - 線形回帰