이 기사의 주요 기여는 다음과 같습니다.
(1) 시공간 상관관계를 모델링하기 위해 Attention 메커니즘을 활용하는 새로운 엔드투엔드 교통 예측 프레임워크가 설계되었습니다. 또한, 공간적, 시간적 상관관계의 흐름을 조정하기 위해 소프트 임계값 융합 방법을 제안합니다.
(2) 다양한 해상도에서 복잡한 시공간 특징을 포착하고 예측 성능을 향상시키기 위해 다중 규모 컨벌루션 네트워크가 제안되었습니다.
(3) 교통 예측 작업에서 제안된 모델의 효율성을 검증하기 위해 두 개의 공개 데이터 세트에 대한 광범위한 실험을 수행합니다. 실험 결과에 따르면 우리 모델은 기존 기준에 비해 예측 성능이 더 나은 것으로 나타났습니다.
시공간 위치 임베딩
먼저 두 개의 완전히 연결된 신경망을 사용하여 입력 벡터의 특징을 추출한 다음 선험적 위치 임베딩을 사용하여 시공간 임베딩을 달성합니다.
그런 다음 인코더에서는 공간적 주의와 시간적 주의가 공간적, 시간적 상관관계를 공동으로 인코딩합니다. 인코더 다음에는 변환기 주의 계층을 사용하여 과거 시간과 미래 시간 간의 시간적 상관 관계를 모델링합니다. 마지막으로 디코더에서는 컨벌루션 레이어, 컨벌루션 풀링 레이어 및 확장된 컨벌루션 레이어가 공동으로 복잡한 시공간 특징을 추출합니다.
노드에 포함된 기능, 
공간 임베딩 및 
시간 임베딩 <을 학습하기 위한 시공간 위치 임베딩 레이어를 설계했습니다. a i=3>은 인접 행렬 A로 초기화되고, 는 원-핫 인코딩으로 초기화되며, H 시간 단계 내 N 노드의 임베디드 특징은 , Ft는 특징을 d차원 벡터로 변환하는 데 사용되는 완전 연결 레이어입니다. 는 다음 P 시간 단계에서 N 노드에 포함된 특징을 인코더에 입력하고 디코더 각각.. 
시공간적 관심을 갖는 디코더
주의 기반 인코더가 제안되었습니다. 인코더는 공간 주의, 시간 주의, 소프트 임계값 융합이라는 세 가지 하위 구성 요소로 구성됩니다.
공간 참고 사항:
GMAN과 유사하며 
, 
숨겨져 있습니다.
은 k번째 헤드의 노드 vi에 대한 노드 v의 정규화된 점수를 나타내며, 가중치 합은 1이고, fx는 비선형 변환입니다. 
W 및 b는 학습 가능한 매개변수입니다. 공간 주의 출력은 
로 표시됩니다.
시간 참고:
, 
은 시간 단계 tj에서 노드 vi의 숨겨진 상태이고, 
는 k번째 헤드 attention에서 정규화된 시간 단계 tq를 나타냅니다. 시간에 대한 점수 단계 tj.
소프트 임계값 융합:
Gated Fusion 및 Soft Threshold 메커니즘에서 영감을 받은 Soft Threshold Fusion은 중요한 기능에 자동으로 초점을 맞추고 불필요한 기능은 무시하도록 설계되었습니다. 공간적 주의와 시간적 주의 HS와 HT의 출력을 고려하여 먼저 전역 평균 풀링(GAP)과 전역 최대 풀링(GMP)을 사용하여 과적합 확률을 최소화합니다. 그런 다음 결과는 두 개의 완전히 연결된 레이어에 입력됩니다. 마지막으로 공간 임계값 τS와 시간 임계값 τT가 얻어지며 각각 다음과 같이 표현됩니다.
여기서 δ는 활성화 함수입니다. 
요소 내적을 나타냅니다. Ws와 Wt는 학습 가능한 매개변수입니다. θa와 θm은 각각 GAP 작업과 GMP 작업입니다. 공간적 주의를 계산하는 소프트 임계값을 예로 들면,
따라서 HS와 HT는 다음과 같이 병합됩니다.
그 중 zS와 zT는 공간적, 시간적 상관관계의 영향을 반영하는 소프트 임계값입니다. 소프트 임계값 융합 메커니즘은 유용한 공간적 및 시간적 특징이 더 많은 관심을 받는 동시에 도움이 되지 않는 특징을 제거하도록 보장합니다.
시간 단계 크기와 주의 전환 간의 상관 관계
과거 시간 단계와 미래 시간 단계 사이의 상관관계를 모델링하기 위해 우리는 변환 어텐션을 사용하여 미래 표현을 구축한 다음 디코더에 입력합니다.
여기서
은 미래 시간 단계 ty에 해당하는 노드 vi의 시간 관련 은닉 상태이고, 
는 다음에 기여하는 주의 점수입니다. 동적 조정된 인코딩된 트래픽 특성 H. 그런 다음 전환된 주의의 출력 H가 디코더에 공급됩니다.
컨벌루션 신경망 디코더
이 디코더는 콘볼루션 레이어, 콘볼루션 풀링 레이어 및 확장된 콘볼루션 레이어의 세 가지 콘볼루션 레이어로 구성됩니다. 단기 및 장기 트래픽 예측을 위해 3개의 컨벌루션 레이어가 짧고 매우 긴 시퀀스를 모두 처리하고 다양한 범위에서 상관 관계를 발견합니다. 이러한 컨벌루션 레이어의 출력은 연결되어 최종 결과를 생성합니다.
컨볼루션 그룹:
하나의 콘볼루션 레이어는 긴밀한 종속성만 캡처할 수 있는 반면, 콘볼루션 레이어 스택은 모든 영역의 종속성을 캡처할 수 있는 것으로 관찰되었습니다[21]. 컨볼루션 그룹에서는 다음과 같이 Lc 컨볼루션을 중첩합니다
. 여기서 
는 컨볼루션 레이어의 i번째 커널 매개변수입니다. 
은 컨볼루션 연산이다. Qc0 = H'는 입력이고, HC = QcLc는 출력입니다. 편의상 필터 크기는 3×3이다.
전환 풀링 그룹:
풀링 작업은 성공적인 대류 네트워크에 매우 중요합니다. 또한, max pooling 연산을 통해 넓은 수용 필드에서 다중 규모의 트래픽 특징을 추출할 수 있습니다. 이 모듈은 병렬 구조를 사용합니다. 1×1 컨볼루셔널 레이어와 그 뒤를 잇는 최대 풀링 레이어로 축소를 계산합니다. 그런 다음 3×3 컨벌루션 레이어를 연속적인 Lp로 쌓아 다중 규모 특징을 추출합니다. 컨볼루션의 디자인은 그림에 나와 있습니다.
확장된 전환 그룹:
장기 예측 작업을 처리하기 위해 우리는 매우 긴 시퀀스를 처리하기 위해 다양한 크기의 확장 컨볼루션을 적용합니다. 연구에 따르면 확장된 컨볼루션은 긴 시퀀스를 처리할 때 모델 복잡성이 더 낮은 것으로 나타났습니다. 단기 및 장기 예측을 처리하기 위해 적절한 커널 크기를 선택하는 것은 어려운 문제입니다. 1×1, 3×3 및 5×5 필터 크기는 초기 모듈에서 널리 사용되었으며 좋은 성능을 달성했습니다[14]. 우리는 3×3 unrolled convolution과 5×5 unrolled convolution의 조합을 사용하여 모듈을 설계합니다. 단위 수는 Ld입니다.
입력 H'가 주어지고 HC, HP, HD의 세 그룹이 출력되면 디코더의 최종 결과는 다음과 같습니다.
그 중 WC, WP, WD는 세 그룹의 영향 정도를 반영하는 학습 가능한 매개변수입니다.
손실 함수
손실 함수의 목표는 예측 오류를 최소화하는 것입니다. 예측값과 실제값 사이의 손실 함수로 평균 절대 오차(MAE)를 사용합니다.
실험 결과
다양한 교통 예측 방법의 성능 비교.
PeMS-BAY 및 METR-LA의 절제 분석
METR-LA 데이터 세트에 대한 다양한 융합 방법의 성능 비교.
결론적으로
본 논문에서는 교통 흐름 예측 문제를 해결하기 위해 새로운 시공간 딥러닝 네트워크인 MSCN(Multi-Scale Convolutional Networks)을 제안합니다. MSCN은 인코더-디코더 아키텍처를 따릅니다. 구체적으로, 먼저 시공간적 특징을 정확하게 모델링하기 위해 그래프 주의 네트워크를 채택했습니다. 그런 다음 소프트 임계값 융합을 사용하여 시공간 상관 흐름을 조정합니다. 마지막으로 시공간 시퀀스 표현을 디코딩하기 위해 컨벌루션 모듈이 파생됩니다. 우리의 실험 결과는 MSCN이 최첨단 기준선보다 성능이 우수하다는 것을 보여줍니다. 교통 상황은 다양한 요인의 영향을 받습니다. 향후 작업에서는 예측 정확도를 더욱 높이기 위해 날씨, POI 등 외부 요인의 영향을 고려할 것입니다.