阿里达摩院的NLP面试也就考这些，NLP算法-Offer收割系列【1】

总结：准备了NLP的一个系列-源码基于tensorflow2.0，从2014年的seq2seq到2019年Transformer-XL、GPT-2

前言：自然语言处理（NLP)是人工智能应用里比较成熟的领域，本系列笔记从2014年开始至2019年回顾记录NLP里的语言模型阿、循环神经网络阿什么的等等来介绍NLP，最后实战一到2个NLP机器人对话应用，

目录：

1. 2014年 SEQ2SEQ，GRU

learning phrase representations

seq2seq learning with nn

2.2015年

Attention概念出现及延伸

Neural Machine Translation

Effective approaches to attention-based nmt

3. 2016年 Attention概念出现及延伸

Attention sum reader network

Neural Machine Translation with Reconstruction

4. 2017年

CNN取代RNN，做Attention

Convolutional seq2seq learning

Attention is all you need

5. 2018年

ELMO 双向LSTM LM 做embedding

GPT 预训练Transformer

Bert 深度双向预训练Transformer

6. 2019年

Transformer-XL 超长上下文，相对位置编码

GPT-2 15亿参数Transformer