機械学習: 異常検出

問題定義

異常、異常値、新規性、例外

アプローチが異なれば、この種の問題を定義するために使用する用語も異なります。

応用

2つのカテゴリー

正常なデータのみがあり、異常なデータの範囲が非常に広い (網羅的ではない) 場合、二項分類は簡単ではありません。また、異常なデータは収集しにくい。

分類

各画像にはラベルが付けられており、シンプソン家のメンバー分類器をトレーニングできます。

分類子に基づく異常検出。

信頼度スコアに基づいて異常な質問を行い、一定値以上であれば正常、一定値未満であれば異常とし、最大スコアを信頼度データの一部として誤判定し

ます



。

信頼スコアの推定

ネットワーク信頼スコアを直接教え、分類タスク C を実行するだけでなく、信頼スコア P も与えます。

トレーニングと評価

シンプソンズの写真 100 枚、異常な写真 5 枚

• 青色の正常なグラフは異常として誤分類される
• 赤色の異常マップが正常として誤分類される

このとき、開発セットを使用してシステムを評価します。これは二項分類問題です。

正常率と異常率の分布は大きく異なります。このシステムは高い正解率を実現できますが、何も役に立ちません。分類に ACC 正解率を使用することは無意味です。

混同マトリックスを使用します。


コスト テーブル、間違った動作を行うコスト、スコアを計算します。


独自のタスクのコスト テーブルを設定します。AUC（ROC曲線の面積）などの測定方法もあります。

質問

顔が黄色の場合、システムはより高いスコアを与えます。これは、分類システムが学習するのは人を認識することではなく、顔が黄色であるかどうかであることを意味します。

何らかの異常なデータを受け取ることができた場合、分類と異常スコアの付与を同時に学習することができますが、この種のデータを収集するのは簡単ではありません。GAN を使用して異常データを生成することを検討してください。

ラベルのないシーン

正常なプレイヤーと異常なプレイヤー (Xiaobi)

問題定義

各プレーヤーにスコアを与えるには数値的な方法が必要です。$f\left(sta\right)$確率密度推定

ガウス分布