https://zhuanlan.zhihu.com/p/49271699
バート近年の大きな進展、今のNLPマスターNLPタスクのほとんどは、効果を高めるために直接同様の2段階モデルを使用することができます
変圧器は、Googleが提示された紙を、特徴を抽出するためにかなりの影響、多くの研究者らは、トランス能力がのLSTMよりもはるかに強力である原因「注意が必要なのです」17に機械翻訳の仕事をしています。
シーケンス依存構造自体が発生したため、今後の変圧器が徐々にRNN NLPツールアウト主流の代替となり、RNNは、その並列コンピューティング機能の間に挟まれています。
CNNは、NLPで主流を形成していない、最大の利点は非常に速く、天然欠陥のシーケンスキャプチャ機能のNLPの観点から、特に遠距離恋愛、CNNの並列コンピューティングを行うことが容易なことです
https://zhuanlan.zhihu.com/p/37601161 注意モデルの深さ調査
https://jalammar.github.io/illustrated-transformer/ 変圧器データ