【读论文】多変量時系列におけるグラフニューラルネットワークベースの異常検出

1. 本記事の主な研究内容

多変量時系列におけるグラフ ニューラル ネットワークに基づく異常検出: グラフ ニューラル ネットワークに基づく多変量時系列の異常検出

目標: センサー間の関係のグラフを明示的にキャプチャする、多変量時系列データの特定の方法を開発すること。

既存のアプローチの弱点: 既存のアプローチは、変数間の既存の関係の構造を明示的に学習したり、時系列の予想される動作を予測するためにそれらを使用したりしません。

この不具合の改善: 多変量時系列におけるセンサー間の複雑な関係を最大限に活用するために、グラフ ニューラル ネットワーク (GNN) を使用してセンサー間の関係グラフを学習します。

グラフベースの方法は、相互依存性をエッジで表すことによってセンサー間の関係をモデル化する方法を提供します。

• 一般に、GNN は、ノードの状態がその隣接ノードの状態の影響を受けると想定しています。
• グラフ畳み込みネットワーク (GCN) は、1 ステップ近傍の表現を集約することによってノードの特徴表現をモデル化します。
• グラフ アテンション ネットワーク (GAT) は、アテンション関数を使用して、集計中にさまざまな近傍のさまざまな重みを計算します。

提案手法：グラフ偏差ネットワーク (GDN)、この方法はセンサー間の関係のグラフを学習し、これらのパターンからバイアスを検出します。このメソッドは 4 つの主要な部分で構成されます。

1. センサーの埋め込み、センサーの埋め込み: 埋め込みベクトルを使用して、各センサーの固有の特性を柔軟にキャプチャします。
2. グラフ構造学習、グラフ構造学習: グラフ構造学習はセンサー ペア間の関係を学習し、それらをグラフ内のエッジとしてエンコードします。
3. グラフアテンションベースの予測、グラフアテンションに基づく予測: グラフ内の隣接するセンサーのアテンション関数に基づいてセンサーの将来の動作を予測します。
4. グラフ偏差スコアリング、グラフ偏差スコアリング: グラフから学習したセンサー関係の偏差を特定して説明し、これらの偏差を位置特定して説明します。

2. グラフ偏差ネットワーク (GDN)

1. 問題提起

学習データ：NNTに$N\; 個$$T_{電車\_}$この期間のデータ: $s_{電車\_}=[s_{電車\_\_}^{(1}、s_{電車\_\_}^{(2}、...、s_{電車\_\_}^{(T_{電車\_}}]$、その中、$s_{電車\_\_}^{(t}$NNです$N$次元ベクトル、$t$時間$N個$のセンサーの値。
通常の教師なし異常検出の定式化に従って、トレーニング データには通常のデータのみが含まれていると想定されます。

私たちの目標は、次のように表されるテスト データの異常を検出できるようにすることです:$s_{電車\_}=[s_{テスト\_\_}^{(1}、s_{テスト\_\_}^{(2}、...、s_{テスト\_\_}^{(T_{テスト\_}}】$

アルゴリズムの出力は、サイズT test T_{test}のセットです。$T_{テスト\_}$のバイナリ ラベル、このラベルのセットは、各時点で$t$例外が発生したかどうか。$\left(t\right)\_\in \{0,1\}$，其中 $\left(t\right)\_=1\; は$ttを意味します$時刻t$で例外が発生しました

2. 概要

このメソッドは 4 つの主要な部分で構成されます。

1. センサーの埋め込み、センサーの埋め込み: 埋め込みベクトルを使用して、各センサーの固有の特性を柔軟にキャプチャします。
2. グラフ構造学習、グラフ構造学習: グラフ構造学習はセンサー ペア間の関係を学習し、それらをグラフ内のエッジとしてエンコードします。
3. グラフアテンションベースの予測、グラフアテンションに基づく予測: グラフ内の隣接するセンサーのアテンション関数に基づいてセンサーの将来の動作を予測します。
4. グラフ偏差スコアリング、グラフ偏差スコアリング: グラフから学習したセンサー関係の偏差を特定して説明し、これらの偏差を位置特定して説明します。

(1) センサー埋め込み、センサー埋め込み

各センサーの特徴を表す埋め込みベクトルを導入します。$v_{}\in R^d$、$私\in \{1、2、...、N\}$。

これらの埋め込みベクトル$v_{}$間の類似性は、動作の類似性を示します。したがって、同様の埋め込み値を持つセンサー間には高い相関関係があるはずです。

(2) グラフ構造学習、グラフ構造学習

グラフ構造の学習では、ノードがセンサーを表し、エッジがセンサー間の依存関係を表す重み付き有向グラフを学習します。
センサー$i$について、センサー$i$の埋め込みベクトルとその候補関係$C_{}$eji e_{ji}の類似度 (正規化された内積)$e_{}$：
$$e_{}=\frac{{v_{}{v}_{}}^T{v}_{}{v}_{}}{||v_{}{v}_{}||\cdot ||v_{}{v}_{}||}fまたはj\in C_{}$$

次に、前の$k$このような正規化された内積、$k$の値は、希望するスパース度に応じてユーザーが選択できます。
$${あ}_{}=1\{j\in トップオブK(e\_{}_{}:k\in C_{})\}$$
ここで、1{·}は指示関数、つまり1{值为真的表达式} = 1,1{值为假的表达式} = 0。

事前情報がない場合、センサー$i$の候補関係は、それ自体を除くすべてのセンサーです。

(3) グラフアテンションベースの予測、グラフアテンションに基づく予測

時間に$t$ 、サイズwwの過去の時系列データに基づいていますモデルの入力である$w$${バツバツ}^{\left(t\right)}:=[s^{(t-w)}{s}^{(t-w)}、s^{(t-w+1)}{s}^{(t-w+1)}、...、s^{(t-1)}{s}^{(t-1)}]$。モデルが予測する必要があるターゲット出力は、現時点のセンサー データ、つまり$s^{\left(t\right)}$。

センサーのさまざまな動作を捕捉するために、グラフ アテンション ベースの特徴抽出器を導入し、学習したグラフ構造に基づいてノード情報と隣接ノードを融合します。 zi
$${zz}_{私}^{(t}=ReLU({\_}_{私、}WW{バツバツ}_{私}^{(t}+\underset{j\in N\left(i\right)}{}{ある}_{私、}WW{バツバツ}_j^{(t})$$其中，${バツバツ}_{私}^{(t}$モデル入力の場合、$N\left(i\right)=\{j|A_{}>0\}$、$W$はトレーニングから得られた重み行列です。係数${ある}_{私、}$計算式は次のとおりです。

このようにして、すべての N 個のノードの表現、つまり$\{{zz}_1^{(t}、{zz}_2^{(t}、...、{zz}_N^{(t}\}$

各${zz}_{私}^{(t}$、それを対応する埋め込みベクトルvi \pmb{v}_iに関連付けます${vv}_{}$要素ごとの乗算を実行します ( $\circ$ )、すべてのノードの計算結果を N 次元全結合層の入力として取り、$時刻t$におけるセンサー値の${ss}^{\left(t\right)}$：
$${\hat{s}}^{\left(t\right)}{\hat{s}}^{\left(t\right)}=f_{}([{vv}_{}○{zz}_1^{}、{vv}_{}○{zz}_2^{}、...、{vv}_{}○{zz}_N^{}])$$
モデルの予測出力が実際の値にできるだけ近いことが望ましいため、予測出力${\hat{s}}^{\left(t\right)}{\hat{s}}^{\left(t\right)}$と観測データ$s^{\left(t\right)}{s}^{\left(t\right)}$は損失関数として最小化されます。
$$L_{}=\frac{}{T_{電車-w\_\_}}\sum _{t=w+1}^{T_{電車\_}}||{\hat{s}}^{\left(t\right)}{\hat{s}}^{\left(t\right)}-s^{\left(t\right)}{s}^{\left(t\right)}|{|}_2^{}$$

(4) グラフ偏差スコアリング、グラフ偏差スコア

学習された関係を考慮して、これらの関係から逸脱する異常を検出して説明したいと考えています。

センサー$私は$ttにいる時刻$t$$エラー\_{\_}_{}\left(t\right)=|s_{私}^{(t}-{\hat{s}}^{\left(t\right)}|$

異なるセンサーの偏差は異なるスケールを持つ可能性があるため、各センサーの偏差は次のように正規化されます。${ある}_{}\left(t\right)=\frac{エラー\_{\_}_{}\left(t\right)-{\widetilde{メートル}}_{}}{{\tilde{p}}_{}}$\ワイドティルデ{\mu} _i${\widetilde{メートル}}_{}$是$エラー\_{\_}_{}\left(t\right)$、${\tilde{p}}_{}$是$エラー\_{\_}_{}\left(t\right)$四分位範囲 (IQR)。

四分位範囲、IQR は、分布または一連の値の 1/4 と 3/4 の差、つまり IQR = Q3 - Q1 であり、分布の広がりを示す強力な尺度です。

ttを計算するには$時間t$における全体的な異常状況。max maxを使用します。$max$$関数$はセンサーを集約します (異常はセンサーの小さなサブセット、または単一のセンサーにのみ影響するため):
$$A\left(t\right)=\underset{私}{}{ある}_{}\left(t\right)$$ A ( t ) A(t)
の場合$A\left(t\right)$が設定されたしきい値を超え、$時刻t$のデータは