MATLAB 알고리즘의 실제 적용 사례 집중 강의-[딥러닝] 모델 사전 학습 모델 Transformer-XL&Longformer

목차

Transformer-XL: 고정 길이 컨텍스트를 넘어선 세심한 언어 모델

1. Transformer-XL의 기원

2. 더 긴 시퀀스를 모델링하는 Transformer-XL

2.1 세그먼트 수준 주기 메커니즘