道路の粉塵は、都市環境における一般的な環境汚染問題の 1 つです。これまでのいくつかのプロジェクトでは、実際に同様の検出および識別要件に遭遇しましたが、この論文の主な目的は、実験解析の観点から、裸地データ シナリオにおけるさまざまな大きさのパラメータ モデルの実際のパフォーマンスを比較することです。
まず全体的な効果を見てみましょう。
次に、データセットを簡単に見てみましょう。
注釈データの例は次のとおりです。
0 0.248611 0.515278 0.133333 0.119444
0 0.9625 0.688194 0.075 0.068056
0 0.799306 0.636111 0.106944 0.063889
0 0.658333 0.5875 0.119444 0.061111
ここでは、最終的なターゲット検出を開発および実現するために、異なるパラメーター レベルを持つ 5 つの n--->x モデルが順番に使用されます。次に、結果の詳細を順番に見てみましょう。
【nシリーズモデル】
【sシリーズモデル】
【mシリーズモデル】
【lシリーズモデル】
【Xシリーズモデル】
次に、主要な指標の結果を全体として比較および分析してみましょう。
[精度曲線]
精度-再現率曲線は、さまざまなしきい値の下で二値分類モデルの精度パフォーマンスを評価するために使用される視覚化ツールです。さまざまなしきい値での適合率と再現率の関係をプロットすることで、さまざまなしきい値でモデルがどのように機能するかを理解するのに役立ちます。
精度とは、陽性として予測されたすべてのサンプルに対する、陽性として正しく予測されたサンプルの数の比率を指します。再現率 (Recall) とは、実際に陽性例であるサンプルの数に対する、陽性例として正しく予測されたサンプルの数の割合を指します。
精度曲線をプロットする手順は次のとおりです。
さまざまなしきい値を使用して、予測された確率をバイナリ クラス ラベルに変換します。通常、予測確率がしきい値より大きい場合、サンプルは正の例として分類され、そうでない場合は負の例として分類されます。
しきい値ごとに、対応する適合率と再現率を計算します。
各しきい値での精度と再現率を同じグラフにプロットして、精度曲線を作成します。
精度率曲線の形状と変化傾向に応じて、必要なパフォーマンス要件を達成するために適切なしきい値を選択できます。
適合率曲線を観察することで、適合率と再現率のバランスをとる必要性に応じて最適なしきい値を決定できます。精度が高いほど偽陽性が少なくなり、再現率が高いほど偽陰性が少なくなります。特定のビジネス ニーズとコストのトレードオフに応じて、曲線上で適切な動作点またはしきい値を選択できます。
[再現率曲線]
再現率曲線は、さまざまなしきい値の下で二値分類モデルの再現率を評価するための視覚化ツールです。さまざまなしきい値での再現率と対応する適合率の関係をプロットすることで、さまざまなしきい値でのモデルのパフォーマンスを理解するのに役立ちます。
再現率 (Recall) とは、実際に陽性例であるサンプルの数に対する、陽性例として正しく予測されたサンプルの数の割合を指します。再現率は、感度 (Sensitivity) または真陽性率 (True Positive Rate) とも呼ばれます。
再現率曲線をプロットする手順は次のとおりです。
さまざまなしきい値を使用して、予測された確率をバイナリ クラス ラベルに変換します。通常、予測確率がしきい値より大きい場合、サンプルは正の例として分類され、そうでない場合は負の例として分類されます。
各閾値について、対応する再現率と対応する適合率が計算されます。
各しきい値での再現率と適合率を同じグラフにプロットして、再現率曲線を作成します。
再現率曲線の形状と変化傾向に応じて、適切なしきい値を選択して、望ましいパフォーマンス要件を達成できます。
再現率曲線を観察することで、再現率と精度のバランスをとる必要性に応じて最適なしきい値を決定できます。再現率が高いほど偽陰性が少ないことを意味し、精度が高いほど偽陽性が少ないことを意味します。特定のビジネス ニーズとコストのトレードオフに応じて、曲線上で適切な動作点またはしきい値を選択できます。
[F1 値カーブ]
F1 値カーブは、さまざまなしきい値の下で二値分類モデルのパフォーマンスを評価するための視覚化ツールです。さまざまなしきい値での適合率、再現率、F1 スコア間の関係をプロットすることで、モデルの全体的なパフォーマンスを理解するのに役立ちます。
F1 スコアは精度と再現率の調和平均であり、両方のパフォーマンス指標が考慮されます。F1 値曲線は、さまざまな適合率と再現率の間のバランス ポイントを決定し、最適なしきい値を選択するのに役立ちます。
F1 値曲線をプロットする手順は次のとおりです。
さまざまなしきい値を使用して、予測された確率をバイナリ クラス ラベルに変換します。通常、予測確率がしきい値より大きい場合、サンプルは正の例として分類され、そうでない場合は負の例として分類されます。
各しきい値について、対応する適合率、再現率、および F1 スコアが計算されます。
各しきい値の下での適合率、再現率、および F1 スコアが同じグラフ上にプロットされ、F1 値曲線が形成されます。
F1 値曲線の形状と変化傾向に応じて、必要な性能要件を達成するために適切なしきい値を選択できます。
F1 値曲線は、さまざまなモデルのパフォーマンスを評価および比較するために、受信機動作特性曲線 (ROC 曲線) と一緒によく使用されます。より包括的な分類子のパフォーマンス分析を提供し、特定のアプリケーション シナリオに応じて適切なモデルとしきい値設定を選択できます。
以下に示すように、最終的な損失比較曲線もあります。
実際の実験結果から判断すると、パラメータの大きさが一定の閾値を超えると、パラメータ量を増加し続けることによる結果の改善は最小限であるため、最大のモデルを使用する必要はありません。すでにある程度の性能は出ていますが、Xシリーズもよろしくお願いします。ただし、これは実際のビジネス ニーズに基づいた選択でもあります。