目次
トピック
マルチタスク深層学習に基づく時空間ネットワークにおける流れ予測
紙の背景
2020年、京東スマートシティ研究所のZheng Yu氏のチームは学術誌TKDE 2020に研究成果を発表した。
概要
時空間ネットワークにおけるフロー (車、群衆、自転車の流れなど) の予測は、ノードの出入りフローや、異なるノード間の転送フローなどの交通システムにおいて重要な役割を果たします。ただし、これは、異なる場所間の空間的相関、異なる時間間隔間の時間的相関、および外部要因(イベントや天候など) など、複数の複雑な要因の影響を受ける難しい問題です。また、ノードの流れ（ノードフロー）とノード間の転送の流れ（エッジフロー）は相互に影響を及ぼします。
これらの問題に対処するために、この論文では、時空間におけるノードとエッジの流れを同時に予測できるマルチタスク深層学習フレームワークを提案します。完全畳み込みネットワークに基づいて、この論文ではノードとエッジのトラフィックをそれぞれ予測する2 つのモデルを設計します。2 つのモデルは、中間層の潜在表現を結合することによって接続され、一緒にトレーニングされます。外部要因は、ゲート融合メカニズムを通じてフレームワークに統合されます。この論文では、エッジ トラフィック予測モデルで、埋め込みコンポーネントを使用してノード間のスパース転送を処理します。
この論文では、北京とニューヨーク市のタクシー データに対する私たちの手法を評価します。実験結果は、私たちの方法が ConvLSTM、CNN、マルコフランダムフィールドなどの 11 のベースラインよりも優れていることを示しています。
研究内容
時空間ネットワークにおけるフロー予測: ノード フローとエッジ フローの予測。
次の図は、単純な時空ネットワークの流れを示しています。
チャレンジ
- 規模と複雑さ 規模と複雑さの計算:特に都市で何らかのイベントが発生した場合、人はどの場所間でも移動できるため、ある場所に出入りする流れは、すぐ隣の場所だけでなく、地理的に離れた場所にも依存します。大都市に多数の場所があるとします。NNNの場合、 N 2 N^2がありますN2 つの遷移の可能性がありますが、これらの遷移は時間間隔内で同時に発生しない可能性があります。したがって、ある地点の流れを予測するには、流入・流出や遷移流など、その地点と他の地点との依存関係。さらに、予測は過去の時間間隔の流れにも関係します。さらに、都市内の各場所は相互に接続され、相互に関連しており、互いに影響を与えているため、各場所の流れを個別に予測することはできません。その複雑さと規模は、確率的グラフィカル モデルなどの従来の機械学習モデルに大きな課題をもたらします。
- 複数の相関関係と外部要因をモデル化する 複数の相関関係と外部要因をモデル化する: このタイプの予測問題を扱う場合、3 種類の相関関係を確立する必要があります。1 つ目は、異なる位置にあるストリーム間の空間相関です。これには、近い位置間の相関と遠い位置間の相関が含まれます。2 つ目は、時間的近接性、周期性、傾向など、異なる時間間隔でのトラフィック間の時間的相関関係です。第三に、流入と流出は遷移流と高度に相関しており、相互に強化します。ある場所に流れる遷移の合計が、その場所への流入になります。
- ダイナミクスとスパース性 エッジ トラフィックのダイナミクスとスパース性:拠点間のフローは、出入りするフローよりも時間の経過とともに大きく変化します。次の時間間隔で実際に発生する遷移 (ある場所と別の場所の間) では、N 2 N^2のみが考慮される可能性があります。N2可能性のごく一部（つまり、非常にまばら）。このような高次元空間におけるこのようなまばらな遷移を予測することは、非常に困難な作業です
この論文の主な貢献
この論文では、ノードとエッジのトラフィックをそれぞれ予測するためのNodeNetとEdgeNetを含む、マルチタスク ディープラーニング( MDL ) フレームワークを提案します。
-
NodeNetとEdgeNet はどちらも 3 つのストリームの完全畳み込みネットワーク ( 3S-FCN ) であり、3 つの異なる時間相関をキャプチャします。ストリーム
Clossness、Period、各S-FCN は近地点と遠地点の間の空間相関を同時にキャプチャします。Trend -
外部要因と時空間相関を融合するためのゲート コンポーネントを提案する
-
スパース問題を解決するために、EdgeNetではEmbeddingコンポーネントが設計され、高次元のスパース入力を潜在的な低次元表現にエンコードします。
ネットワークモデル
MDL は、データ変換、ノード フロー モデリング、エッジ フロー モデリングの 3 つの部分で構成されます。
エッジネット
エッジでの転送フローは次の画像によってモデル化されます。
M t ∈ R 2 N × I × J { {
\mathcal{M}}_{t}}\in {
{\mathbb{ R}} ^{2N\text{ }\!\!\times\!\!\text{ }I\text{ }\!\!\times\!\!\text{ J}}}Mた∈R2N_ _ × 私 ×
各ノードの J rij r_{ij}rイジ、最大2 N 2N2 NNを含むN回の転送の可能性N回の転送とNNNさんは転勤します。その中でもNNさんはNは都市部の総数で、次のように定義されます:
N ≜ ∣ V ∣ = I × JN\triangleq |V|=I\text{ }\!\!\times\!\!\text{ J }N≜∣ V ∣=私 × J
II私とJJJは次のように定義されます。
時空間関連は FCN によってキャプチャされます。畳み込み層の数が増加するにつれて、FCN はより多くの依存関係、さらには都市全体の空間依存関係をキャプチャできるようになります。ただし、このような深い畳み込みネットワークのトレーニングは困難になります。したがって、この論文では、トレーニングを支援するために残留接続を使用します。次の図は、残りの接続の FCN です。
ノードネットとブリッジ
EdgeNet と同様に、NodeNet も画像モデリングに基づいています。EdgeNet とは異なり、NodeNet には 1 つの入力のチャネル数が 2 つしかないため、埋め込み層がありません。
ノード フローとエッジ フローが関連していることを考慮すると、NodeNet と EdgeNet から学習した表現が接続される必要があります。NodeNet と EdgeNet を接続するには、NodeNet と EdgeNet の 2 つの潜在的な表現がX fcn \mathcal{X}_{fcn}であると仮定します。バツfcn _ _そしてM fcn \mathcal{M}_{fcn}Mfcn _ _。本論文では 2 つの融合手法を提案する．
サムフュージョン
エッジとノードの 2 つの表現を直接合計し、同じ空間ノードrij r_{ij}rイジチャンネルCC経由cの出力マッピング
は次のとおりです: H ( c , : , : ) = X fcn ( c , : , : ) + M fcn ( c , : , : ) , c = 0 , . . . , C − 1 , \mathcal{ H}(c,:,:)=\mathcal{X}_{fcn}(c,:,:)+\mathcal{M}_{fcn}(c,:,:),c=0 、..、C-1、H ( c ,:、:)=バツfcn _ _( c 、:、:)+Mfcn _ _( c 、:、:) 、c=0 、... 、C−1 、
連結融合
チャンネルCC経由cは同じ空間ノードrij r_{ij}rイジでのマッピングは次のとおりです:
H ( c , : , : ) = X fcn ( c , : , : ) , c = 0 , . . . , C x − 1 H ( C x + c , : , : ) = M fcn ( c , : , : ) ， c = 0 , . . . , C m − 1 ， \mathcal{H}(c,:,:)=\mathcal{X}_{fcn}(c,:, :) , c=0,...,C_x-1 \\ \mathcal{H}(C_x+c,:,:)=\mathcal{M}_{fcn}(c,:,:), c= 0、...、C_m-1、H ( c ,:、:)=バツfcn _ _( c 、:、:) 、c=0 、... 、C×−1H ( C)×+c 、:、:)=Mfcn _ _( c 、:、:) 、c=0 、... 、Cメートル−1と同様に、
次の図はConcat と融合されたMDL。
外部要因を組み込んだゲート機構
天候やイベントなどの外部要因はゲートスイッチのようなもので、それが起こると交通状況は大きく変化します。本稿では、外部要因の影響を考慮したゲーティング機構を提案する。
まず、EdgeNet のゲート値を取得します。
F m ( i , j ) = σ ( W e ( : , i , j ) ⋅ ε t ( : , i , j ) + be ( i , j ) )、1 ≤ i ≤ I , 1 ≤ j ≤ J \mathrm{F}_m(i,j)=\sigma(\mathrm{W}_e(:,i,j)·\varepsilon_t(:,i,j)+\mathrm{ b}_e(i,j)), 1\leq i \leq I,1\leq j \leq JFメートル(私、j )=s ( Wえ( :、私、j ) ⋅eた( :、私、j )+bえ(私、j )) ，1≤私≤私は、1≤j≤J は
ゲート機構に基づく積融合を採用します:
M ^ t ( c , : , : ) = Tanh ( F m ⊙ MR es ( c , : , : ) ), c = 0 , . . . , 2 N − 1 、 \widehat{\mathbf{M}}_t(c,:,:)=tanh(\mathrm{F}_m⊙\mathcal{M}_{Res}(c,:,:)), c= 0、..、2N-1、M
た( c 、:、:)=英語( F_ _メートル⊙Mレス_( c 、:、:)) 、c=0 、... 、2N_ _−1 、
同様に、最終時刻 t における NodeNet の予測は次のとおりです:
X ^ t ( c , : , : ) = Tanh ( F x ⊙ XR es ( c , : , : ) ), c = 0 , 1 , \widehat {\mathbf{ X}}_t(c,:,:)=tanh(\mathrm{F}_x⊙\mathcal{X}_{Res}(c,:,:)), c=0,1,バツ
た( c 、:、:)=英語( F_ _×⊙バツレス_( c 、:、:)) 、c=0 、1 、
実験
データセット
TaxiBJ : 2013 年から 2016 年の 4 つの期間における北京のタクシーの GPS データと気象データ。
TaxiNYC : 2011 年から 2014 年までのニューヨーク市のタクシー運転記録。乗車と降車の時間と場所が含まれます。
実験結果
以下の図は、TaxiBJ および TaxiNYC データセットのノード フロー予測を示しています:
TaxiBJ データセットでは、MRF (マルコフ ランダム フィールド、マルコフ ランダム フィールド) メソッドがこの論文で提案した MDL よりも優れています。 TaxiBJ の 3 倍より大きい (表 2 の時間間隔)。言い換えれば、MDL は大規模なデータに対して MRF よりも優れたパフォーマンスを発揮します。
転移予測結果とさまざまな融合戦略下での結果:
CONCAT + GATING 法が最も効果的であることが示されています。
要約する
これは古典的なマルチタスク学習作業であり、時空間ネットワークにおけるノードトラフィックとエッジトラフィックの予測をマルチタスクとみなし、受信トラフィックと送信トラフィック(ノードトラフィック)を同時に予測するMDLフレームワークが提案されています。 ）と時空間ネットワーク内のトラフィック（エッジトラフィック）を転送します。）
最近では、エッジの転送フローを予測し、都市空間をグラフとしてモデル化し、そのグラフのノードを分割されたグリッドや不規則な領域（AOI、TAZなど）とするディープラーニングベースの研究が行われ、未来を予測するものもあります。時空間グラフ ニューラル ネットワーク エッジ トラフィック。
現在、予測タスクに対する外部要因の影響を考慮する研究が増えていますが、そのほとんどはその影響によって引き起こされる結果のみに焦点を当てており、予測結果に対する外部要因の影響を説明することは検討する価値があります。