アダプティブグラフ交通予測のための畳み込みリカレントネットワーク紙の理解 + コンピューター翻訳

背景: 急速な都市化は人口増加をもたらし、多大な移動と課題を生み出しました。これらの課題の中でも、インテリジェント交通システムは重要な分野であり、交通予測は都市交通管理の重要な部分です。

問題の説明: この論文は、交通の流れや速度、乗客の需要など、将来の交通状況を正確に予測する方法に焦点を当てています。

方法: 従来の予測方法では時系列モデルが採用されており、大規模なトラフィックの非線形相関や複雑な時空間パターンを捉えることができません。この論文では、Adaptive Graph Convolutional Recurrent Network (AGCRN) と呼ばれる手法を提案しています。グラフ畳み込みニューラルネットワーク (GCN) とリカレントニューラルネットワーク (RNN) のアイデアを組み合わせて、異なる期間の交通流データ間の相互依存関係をキャプチャします。

グラフ畳み込みニューラルネットワーク (GCN): GCN は、さまざまな交通ノード間の関係を取得するために使用され、ノードは都市内のさまざまな交差点やエリアを表すことができます。GCN は、近隣ノードからの情報を学習することで将来の交通状況を予測します。

リカレントニューラルネットワーク (RNN): RNN は、時系列の時間依存関係をキャプチャするために使用されます。これは、モデルが過去の交通データが将来のデータにどのような影響を与えるかを理解するのに役立ちます。

実験と結果: 現実世界の交通データセットでの実験により、AGCRN モデルのパフォーマンスが検証されます。実験結果は、AGCRN が交通量予測において高い精度を持っていることを示しています。

1 はじめに

交通量予測の複雑さ

トラフィック予測には、複雑な内部依存関係 (つまり、トラフィックシーケンス内の時間的相関) と外部依存関係 (つまり、異なるソースからの複数の関連するトラフィックシーケンス間の空間的相関) があります。これらの依存関係はさまざまなソースから発生します。たとえば、交通流と交通速度の予測にはさまざまなループ検出器/交差点が、乗客需要の予測にはさまざまな駅/エリアが使用されます。

従来の手法の限界

従来のトラフィック予測方法は、自己回帰統合移動平均モデル (ARIMA) やベクトル自己回帰モデル (VAR) などの時系列モデルを単純に使用します。そして、大規模な交通データの非線形相関や複雑な時空間パターンを捉えることができません。これらの方法は、多くの場合、異なるトラフィックシーケンス間の相互作用や空間相関を無視するため、これらの課題への対応が不十分です。従来の方法では、これらの問題に対処するには限界があります。したがって、これらの課題に対処し、交通予測の精度と信頼性を向上させるには、より高度な方法が必要です。

研究動向

最近の研究傾向は、深層学習手法を採用し、すべてのトラフィックデータシーケンスに共有される顕著な時空間パターンを捕捉するための新しいニューラルネットワーク構造の設計に重点を置くことです。時間依存性はリカレントニューラルネットワーク (RNN) と時間畳み込みモジュール (TCN) を使用してモデル化され、空間相関はグラフベースの畳み込みニューラルネットワーク (GCN) を使用してモデル化されます。

質問

ディープラーニング手法は満足のいく結果をもたらしますが、共通のパターンを捉えるには偏りすぎているため、さまざまなデータシーケンスの特定のきめの細かいパターンに対しては正確ではありません。さらに、既存の GCN 手法では、接続グラフを生成するために類似性または距離メトリックを事前に定義する必要がありますが、これには大量のドメイン知識が必要であり、グラフの品質に非常に敏感です。

提案されたソリューションとモデル

著者は、上記の問題をそれぞれ解決するために、既存の GCN ビルディングブロックを改善する 2 つのメカニズムを提案します。

1) 各トラフィックシーケンスの特定のパターンを学習するために、ノード適応パラメーター学習 (NAPL) モジュールが提案されています。

2) データ適応グラフ生成 (DAGG) モジュールは、データからノード埋め込み属性を推測し、トレーニングプロセス中にグラフを生成するために提案されています。

NAPL: このモジュールを使用すると、モデルはグローバルパラメーターを共有する代わりに、各ノードの特定のパターンまたはパラメーターを学習できます。行列分解の考え方を使用してパラメータ学習を 2 つの小さなパラメータ行列に分解し、ノードごとに特定のパラメータを生成できるようにします。

DAGG: このモジュールを使用すると、モデルは事前定義されたグラフに依存するのではなく、データに基づいてグラフ構造を自動的に生成できます。ノードの埋め込みと重みプーリングを使用してグラフを動的に生成し、トラフィックデータの空間関係をより適切にキャプチャします。

著者はこれら 2 つのモジュールをリカレントニューラルネットワークと組み合わせ、統合トラフィック予測モデル AGCRN を提案します。AGCRN は、トラフィックデータのきめ細かいノード固有の時空間相関をキャプチャでき、修正された GCN のノード埋め込みプロパティを統合します。

2 関連作品

相関時系列予測

関連するイベントシーケンス予測の分野の発展と傾向について議論する際、深層学習手法の台頭が注目されつつあることが言及されました。深層学習手法は、モデルや特徴を手動で設計する必要がなく、データ内の複雑なパターンや相関関係を自動的にキャプチャできるため、時系列データを処理する際に優れたパフォーマンスを発揮します。ただし、既存の手法の中には、高いパフォーマンスを達成するために大量のトレーニングデータとパラメーターを必要とするものもあります。これは、著者が本文で言及している重要な問題でもあります。さらに、深層学習は時間予測においては優れた性能を発揮しますが、異なる時系列間の相互作用を無視することがあります。これは、研究者が改善を模索し続ける方向性の 1 つです。

GCNベースのトラフィック予測

この段落では、交通予測関連の研究プロセス、特に時系列データを処理する場合、研究者は空間相関にますます注目していることを強調します。彼らは、GCN などの手法を使用して交通データの時空間特性を包括的に捕捉し、交通予測の精度と汎用性を向上させようとしています。ある程度の進歩はあるものの、事前定義された空間接続グラフへの依存など、いくつかの課題が残っています。

グラフ畳み込みネットワーク

GCN とその関連メソッドを紹介する際、このテキストでは、グラフデータの処理における GCN の多用途性と重要性を強調します。新しい研究手法では、静的に事前定義された接続グラフへの依存を取り除き、モデルがデータから接続関係を動的に学習または推測できるようにしようとしています。

3 方法論

3.1 問題の定義

このセクションでは、多段階のトラフィック予測の問題を紹介します。問題の背景は、次の記号で表される、相関のある単変量時系列が複数存在すること $X=[X_{1},X_{2},...,X_{n}]$ です $X_{t}$ 。目標は、観測された履歴データに基づいて、関連するトラフィック時系列の将来の値を予測することです。

著者は、モデル内の学習可能なすべてのパラメーターを表す関数を使用しています。この関数のタスクは、過去の T タイムステップのデータに基づいて次のタイムステップのデータを予測すること $F_{\シータ }$ です。方程式は次のとおりです。 $\シータ$ $\ できる$

$f(X_{t+1},X_{t+2},...,X_{t+\tau })=F_{\Theta }(X_{t},X_{t},...,X_{ t-T+1})$

異なる交通時系列間の空間相関をより正確に処理するために、グラフ上でさらなるモデリングが実行されます。ここで、グラフ G = (V, E, A)、

V はノードセットを表し、トラフィック時系列のソースを表します。
E はエッジのセットを表します
A はグラフの隣接行列で、ノード間の空間的近接性またはトラフィック時系列を示します。

したがって、質問は次のように変更されました。

$f(X_{t+1},X_{t+2},...,X_{t+\tau })=F_{\Theta }(X_{t},X_{t},...,X_{ t-T+1},G)$

これは、モデルがグラフ G の空間関係に基づいて将来の交通量の時系列値を予測することを意味します。モデルの目標は、履歴データとグラフ構造を使用して正確な交通量を予測することです。

3.2 ノードの適応型パラメータ学習

最近の交通予測研究では、異なる交通時系列間の空間相関を捉えるために GCN がよく使用されます。GCN の計算は、グラフのラプラシアン行列 L (L=DA) に基づいて行われ、スペクトル領域で処理されます。論文「グラフ畳み込みネットワークによる半教師あり分類」では、グラフ畳み込み演算が一次チェビシェフ多項式展開で近似できることが記載されています。式は次のとおりです。

A はグラフの隣接行列です
D は次数行列です
X は GCN 層の入力特徴です
Z は出力特徴量です
Θ は学習可能な重みです
bはバイアスです

ただし、共有パラメータのアプローチは、交通量予測の問題には最適な選択ではありません。トラフィックの時系列には異なるノード間で多様なパターンが存在する可能性があるため、これは時系列データの動的な性質と、トラフィックに影響を与えるさまざまな要因によるものです。したがって、すべてのノード間で共有されるパターンを単に取得するだけでは、正確なトラフィック予測の要求を満たすことができず、各ノードの固有のパターンを学習する必要があります。

この問題を解決するために、行列分解のアイデアを利用した GCN のノード適応パラメータ学習 (NAPL) モジュールの拡張バージョンが提案されています。

NAPL は、ノード埋め込み行列 (EG) と重みプーリング行列 (WG) という 2 つの小さなパラメーター行列を学習します。これら 2 つの行列の積により、GCN 層のパラメータ Θ が生成されます。各ノードは、そのノードに埋め込まれた EG に従って、共有重みプール WG からパラメータを引き出します。これは、すべてのトラフィック時系列から検出された候補のセットとして解釈できます。学習ノード-パターンの中の特定のパターン。

最後に、NAPL 拡張 GCN (つまり NAPL-GCN) の計算式は次のとおりです。

このアプローチは、ノード固有のパターンを学習して空間相関とノード固有のパターンをより適切に捕捉することにより、トラフィック時系列の予測パフォーマンスを向上させることを目的としています。

3.3 データ適応型グラフ生成

既存の GCN ベースのトラフィック予測モデルの問題は、これらのモデルがグラフ畳み込み演算を実行するために隣接行列を事前定義する必要があることです。通常、隣接行列 A は距離または類似性の尺度を通じて計算され、ノード間の接続関係を記述するために使用されます。

距離関数: ノード間の地理的位置に応じてグラフを定義します。ノード間の接続性はノード間の地理的位置の影響を受けます。

類似性関数: ノード属性または時系列自体の類似性に基づいてノード間の接続性を定義します。

これらの方法にはいくつか問題があり、あらかじめ定義されたグラフは空間依存性を含む完全な情報を取得できず、予測タスクに直接関係しないため、大きなバイアスが生じる可能性があります。さらに、適切な知識がなければ、これらの方法を他のドメインに適用することはできず、既存の GCN ベースのモデルは無効になります。

この問題を解決するために、著者はデータから得られる隠れた依存関係を自動的に推論するDAGGモジュール手法を提案した。DAGG モジュールは、最初に学習可能なノード埋め込み辞書 (EA) を初期化してすべてのノードを表し、次にこれらのノード間の類似性を計算することで、これらのノード間の空間依存関係を推測します。具体的には、EA のドット積と EA の転置を計算し、softmax 関数と ReLU 関数を適用することによって適応隣接行列を生成します。A の生成やラプラシアン行列の計算は必要ありません。トレーニングプロセス中に、EA は自動的に更新され、異なるトラフィック時系列間の隠れた依存関係を学習し、グラフ畳み込み用の適応行列を取得します。最後に、DAGG 拡張 GCN モデルは次のように表現できます。

このアプローチの利点は、事前定義されたグラフ構造に依存せずに、データからノード間の空間依存関係を自動的に学習できることです。これにより、さまざまな交通データに対するモデルの適応性が向上し、空間関係をより適切にキャプチャできるようになり、交通予測のパフォーマンスが向上します。最後に、非常に大きなグラフを処理する場合、グラフのセグメント化やサブグラフのトレーニングなどの方法を使用して、計算コストが高いという問題を解決できます。

3.4 適応グラフ畳み込みリカレントネットワーク

AGCRN は、「NAPL-GCN」、「DAGG」、および「Gated Recurrent Units」（GRU）を統合しながら、トラフィック時系列における空間的および時間的相関を捕捉することを目的としています。

具体的には、AGCRN は GRU の MLP 層を置き換え、「NAPL-GCN」を使用してノード固有のパターンを学習します。さらに、「DAGG」モジュールを使用して空間依存関係を自動的に検出します。AGCRN の正式な表現は次のとおりです。

X:;t とは $h_{t}$ それぞれタイムステップ t の入力と出力を表します
[・]は接続動作を示します
z と r はそれぞれリセットゲートとアップデートゲートを表します
E、Wz、Wr、、 $W_{\帽子{h}}$ bz、br、は $b_{\帽子{h}}$ AGCRNで学習できるパラメータです

GRU と同様に、AGCRN のすべてのパラメーターは、時間的バックプロパゲーションを通じてエンドツーエンドでトレーニングできます。

このモデルの重要なポイントは次のとおりです。

ノード固有のパターン学習: 「NAPL-GCN」を使用して従来の MLP レイヤーを置き換えることにより、AGCRN は各ノードの特定のパターンを学習して、ノード間の空間関係をより適切に把握できます。
空間依存関係の自動検出: 「DAGG」モジュールを使用すると、AGCRN は、事前定義されたグラフ構造を必要とせずに、データからノード間の空間依存関係を自動的に検出できます。
パラメータ共有: AGCRN は、異なる「NAPL-GCN」層と「DAGG」で独立したノード埋め込み行列を学習するのではなく、すべての埋め込み行列を E に統合します。これにより、すべての GCN ブロック間でノード埋め込みの一貫性が保証され、モデルの解釈可能性が向上します。

3.5 多段階の交通量予測

スタックされた「AGCRN」レイヤーをエンコーダーとして使用して、ノード固有の時空間パターンをキャプチャし、入力 (つまり、履歴データ) を H (次元の行列) として表します $R^{N \times d_{o}}$ 。次に、将来のすべてのノードのトラフィック予測は、次の表現を $R^{N \times d_{o}}$ 投影することによって直接取得できます。 $R^{N \time \tau }$

従来の段階的逐次予測とは異なり、この方法では出力を段階的に生成する必要がないため、時間の消費を削減できます。

モデルのトレーニング目標は、L1 損失 (L1 損失) を最小限に抑え、マルチステップ予測の損失関数を最適化することです。したがって、多段階トラフィック予測のための AGCRN の損失関数は次のように表すことができます。

Wθ はネットワーク内のすべての学習可能なパラメータを表します
$X_{:,i}$ 実際の観測値です
${X}'_{:,i}$ はタイムステップ i でのモデルの予測値です。

この問題は、損失関数を最小限に抑えて予測の精度を向上させることを目的として、バックプロパゲーションと Adam オプティマイザーによって解決できます。

4 実験

4.1 データセット

パフォーマンスを評価するために、公的に利用可能な 2 つの現実世界の交通データセット、PeMSD4 と PeMSD8 に対して実験が行われます。

PeMSD4: PeMSD4 データセットは、サンフランシスコベイエリアの交通流データを指します。2018 年 1 月 1 日から 2018 年 2 月 28 日までに、合計 307 個のループ検出器が選択されました。

PeMSD8: PeMSD8 データセットには、2016 年 7 月 1 日から 2016 年 8 月 31 日までにサンバーナーディーノ地域の 170 台のループ検知器から収集された交通流情報が含まれています。

データの前処理: 線形補間を使用して、データセット内の欠損値を埋めます。次に 2 つのデータセットが 5 分間のウィンドウに集約され、1 日あたり 288 個のデータポイントが得られました。さらに、標準の正規化手法を使用してデータセットを正規化し、トレーニングプロセスをより安定させます。

マルチステップの交通量予測では、1 時間の履歴データを使用して次の 1 時間のデータを予測します。

入力として 12 ステップの履歴データを整理し、出力として次の 12 ステップのデータを整理します。データセットを時系列でトレーニングセット、検証セット、テストセットに分割します。2 つのデータセットの分割比は 6:2:2 です。私たちの方法では事前定義されたグラフは必要ありませんが、事前定義されたグラフをベースラインとして使用します。詳細なデータセット統計は付録に記載されています。

5 ディスカッション

多変量または相関時系列予測タスクは、流行拡大予測、気象 (大気質、降雨など) 予測、在庫予測、売上予測など、多くのアプリケーション分野における基本的なタスクです。この論文のタスクはトラフィック予測ですが、提案された 2 つの適応モジュールと AGCRN モデルは、さまざまな多変量/相関時系列予測タスクに個別にまたは共同で適応させることもできます。これは、これらの方法が一般的であり、交通予測だけでなく複数の分野に適用できることを意味します。

本論文で提案する手法は、関連する異なる時系列間の相互依存関係をデータから自動的に発見することができる。これは、関連する多くの時系列予測問題にとって非常に重要です。場合によっては、これらの時系列間のグラフ構造や接続関係を事前に定義することが難しいためです。

著者は、スケーラビリティの 2 つの側面に焦点を当てた今後の作業の方向性について言及しました。

データの側面 - より多くの時系列予測タスクで AGCRN のパフォーマンスを検証します。
モデルの側面 - NAPL と DAGG をより多くの GCN ベースのトラフィック予測モデルに適用します。これは、彼らのアプローチの一般化可能性と将来の研究の潜在的な方向性をさらに強調しています。

6 結論

この論文では、ノード適応パラメータ学習モジュールとデータ適応グラフ生成モジュールを使用して従来のグラフ畳み込みネットワークを強化することを提案します。これらのモジュールは、それぞれノード固有のパターンを学習し、データから空間相関を発見するために使用されます。これら 2 つのモジュールに基づいて、グラフを事前定義せずに時系列データ内のノード固有の空間的および時間的相関を自動的にキャプチャできる適応グラフ畳み込みリカレントネットワークをさらに提案します。

この研究は、特にビッグデータの時代において、社会的および商業的応用に幅広い可能性を秘めています。アダプティブモジュールは、動的で相互依存する時系列データのデータ分析と関連アプリケーションの堅牢性を強化し、それにより、複雑な表示式と暗黙的な相関関係を備えたグラフ構造のマルチチャネルデータのモデル化と分析を改善します。この研究は、インフルエンザの流行、経済成長、気候変動の予測など、世界中の経済的および社会的問題を解決するために重要であるマルチチャネルデータのより良いモデリングと分析をサポートし、関連研究を加速する可能性を秘めています。

ただし、この取り組みには、ライドシェアリングプラットフォームで発生する可能性のある公平性の問題などのマイナス面がある可能性があります。タクシーの供給が需要に対応できない場合、プラットフォームは予測される需要の高いエリアを過度に強調する可能性があり、その結果、需要の低いエリアでの旅行者の待ち時間が長くなる可能性があります。これは、社会のすべてのグループが利益を得ることができるようにデータ駆動型モデルを使用する際に、公平性とバランスの問題を考慮する必要があることを強調しています。