序章
機械学習は、データから学習することでコンピューター システムのパフォーマンスを向上できるように設計された人工知能の分野です。機械学習では、コンピューター システムはパターンと規則性を認識するように訓練され、新しいデータに対して予測と決定を行えるようになります。機械学習の分類モデルでは、モデルの性能を合理的に評価することが不可欠であり、トレーニングセットとテストセットの評価指標のギャップを通じて、モデルに過学習があるかどうか、モデルの汎化能力を判断できます。
一般的な機械学習分類モデル
機械学習は次の主なカテゴリに分類できます。
-
教師あり学習: 教師あり学習とは、既知の入出力ペアを持つデータを使用してコンピューター システムをトレーニングすることを指します。教師あり学習では、コンピューター システムは、新しいデータについて予測できるように、入力を出力にマッピングする方法を学習します。一般的な教師あり分類モデルには、サポート ベクター マシン (SVM)、ロジスティック回帰 (LR)、デシジョン ツリー (DT)、ランダム フォレスト (RF)、XGBoost、勾配上昇、BP ニューラル ネットワークなどが含まれます。
-
半教師あり学習: 半教師あり学習は、教師あり学習と教師なし学習の中間の機械学習方法です。半教師あり学習では、データの一部にはラベルが付けられ、データの別の部分にはラベルが付けられません。ラベル付きデータを使用することにより、半教師あり学習では、データ内のパターンと規則性を認識して学習するようにモデルをトレーニングできます。同時に、ラベルのないデータを使用すると、モデルがデータ間の関係をよりよく理解し、モデルのパフォーマンスと汎化能力を向上させることができます。
-
教師なし学習: 教師なし学習とは、ラベルなしのデータを使用してコンピューター システムをトレーニングすることを指します。教師なし学習では、コンピューター システムがデータ内のパターンと構造を独自に発見して、新しいデータを分類またはクラスター化できるようにする必要があります。典型的な教師なし学習モデルには、K 平均法クラスタリング、KNN アルゴリズム、混合ガウス モデル (GMM)、バーチ クラスタリングなどが含まれます。
分類モデルの評価指標
一般的な分類モデルの評価指標は、混同行列を通じて正解率 (AUC)、適合率 (PRE)、再現率 (REC)、F1 スコア、および AUC 指標を計算することであり、一般的な 2×2 混同行列を表 1 に示します。
| 実価 |
予測値=1 |
予測値 = 0 |
| 1 | TP | FN |
| 0 | FP | テネシー州 |
複数分類の問題では、通常、最初に 1 対すべて (One-vs-All) の 2 分類問題に変換して処理します。各カテゴリについて、それを 1 つのカテゴリとして扱い、その他すべてを別のカテゴリとして扱います。カテゴリごとに、適合率、再現率、F1 スコア、AUC などの指標を計算できます。
-
精度: 精度は、サンプル全体に対する、正しく予測されたすべてのサンプル (真の場合と真の陰性の場合を含む) の割合です。
-
精度 (精度または PRE) : 精度は、予測された陽性サンプルと予測された陽性サンプルの比率であり、精度率とも呼ばれます。
-
再現率 (再現率または REC) : 再現率は、予測された陽性サンプルと正しく予測されたサンプルと実際の陽性サンプルの比率であり、再現率とも呼ばれます。
-
F1 スコア: F1 スコアは、精度と再現率の調和平均であり、モデルのパフォーマンスを包括的に評価するために使用されます。
-
ROC と AUC : ROC 曲線 (受信者動作特性曲線) の下の面積は AUC (Area Under Curve) であり、モデルのソート性能を測定するために使用されます。
ＲＯＣ曲線は、横軸がＦＰＲ（False Positive Rate、偽陽性率）、縦軸がＴＰＲ（True Positive Rate、真陽性率）である。FPRとTPRの計算式は以下のとおりです。
その中でも、TP（True Positive）はまさに例であり、陽性であると予測され、実際に陽性であるサンプルの数です。FP (False Positive) は偽陽性、つまり陽性であると予測されるが実際には陰性であるサンプルの数です。FN (False Negative) は偽陰性の例、つまり陰性であると予測されるが実際には陽性であるサンプルの数です。TN (True Negative) は真の陰性の例、つまり陰性であると予測され、実際には陰性であるサンプルの数です。