网络结构篇

$$网络结构篇$$

• 基础网络：

1 FCNN-全连接神经网络
2.CNN-卷积神经网络
3.RNN－循环神经网络
4.ConvLSTMCell
5.RNN
6.LSTM
7.One-CNN

---

一 CV

理论上通过解码（映射），什么样形式的数据都可以解码为图片数据，即矩阵

---

主题：图像分类，图像检测，图像分割，视频跟踪，文字检测，超分辨率，身体姿态识别

---

• CV 常识

---

• 深度学习综述：

1.Deep Learning

---

• 图像分类经典网络：

1.LeNet-1998
2.AlexNet-2012
3.VGG-2015
4.GoogleNet-2014
5.ResNet-2016
6.DenseNet-2016
7.SENet-2017
8.EfficientNet-2019
9.SAM-2019

---

• 图像检测网络

2013-2018:

Loss:
1.RetinaNet-2017

OneStage:
1.YOLO v1
2.YOLO v2-2016
3.YOLO v3-2018
4.YOLO-v4-2020
5.YOLO-v5（伪）-2020
6.SSD
7.DSSD
8.CenterNet-2019
9.SNIP-2018
9.M2Det-2019
10.DetectoRs-2020
11.EfficientDet-2020
12.CBNet-2020
13.TSD-2020
14.ResNest-2020

TwoStage:
1.RCNN
2.Fast RCNN
3.Faster RCNN
4.Mask R-CNN-2017
5.Cascade RCNN

---

• 人脸识别

1.Facenet-2015
2.MTCNN-2016

---

• 图像分割：

1.FCN-2015
2.U-Net-2015
3.FusionNet-2016
4.DeepLab-3.5系列-2017-2018
5.DeconvNet-2015
6.SegNet-2017
7.PSPNet-2017
8.Enet-2016
9.LinkNet-2017
10.GCN-2017
11.ExFuseNet-2018
12.DFN-2018
13.BiSeNet-2018
14.DFANet-2019
15.RedNet-2018
15.待留
16.待留

---

• 目标跟踪：

1.目标跟踪器的综述和综合测评
2.FCNT-2015
3.GOTURN-2015
4.Siamese-2016

---

• 姿态识别

1.hourglass-2016

---

• 文本识别

1.CTPN-2016
2.CRNN-2015
3.RARE-2016
4.ASTER-2018

---

• 图像超分辨率

1.DRRN-2017
2.LapSRN-2017
3.RDN-2018
4.PASSRnet-2019

---

• 多模型网络：

1.Deep Mutual Learning-2018
2.DAFL-2019
3.含噪声的学生模型自训练可改进ImageNet分类-2020

---

• 多任务注意力模型：

1.MTAN-2019

---

• 其他

1.自监督场景去遮挡-2020

---

CV补充

---

二 GAN

• GAN网络

0.GAN基础

–
1.原生GAN-2014
2.DCGAN-2016
3.CGAN-2014
4.ACGAN-2016-2017
5.InfoGAN-2016
6.WGAN-2017
7.SSGAN-2018-2018
8.Pix2PixGAN
9.CycleGAN
10.StyleGAN2-2019
11.文本生成图片
12.AUTO-GAN

https://arxiv.org/abs/1908.03835

三 NLP

主题：语言模型，机器翻译，文本分类，阅读理解，生成对话，序列标注，关系抽取，建模关系数据

在NLP相比于文本分类，序列标注更为核心

---

• 语言模型

1.词向量-2013
2.句和文档的embedding-2014
3.GloVe-2014
4.Skip Thought-2015
5.大规模预料模型-2016
6.Deep contextualized word represntations-2018
7.Transformer-XL-2019
8.BERT—NAACL-2019
9.ERNIE-2019
10.RoBERT-2020

---

• 序列模型

1.transformer-2017
2.基于卷积网络的seq2seq-2017
3.seq2seq-2017
4.TCN-2018

---

• 机器翻译

1.多层LSTM-2014
2.机器翻译：Jointly Learning-2015
3.谷歌的神经网络机器翻译-2016
4.UMT-2018

---

• 文本分类

1.TextCNN-2014
2.基于字符“从0开始学习”的文本分类-2015
3.动态卷积网络和n-gram思想用于句分类-2014
4.fasttext-2017
5.层次化attention机制用于文档分类-2016

---

• 阅读理解

1.双向Attention-2017
2.QANet-2018

---

• 对话生成

1.Dialogue-2017

---

• 序列标注

1.E2ECRF-2016

---

• 关系抽取

1.PCNNATT-2016
2.ARNOR-2019

---

• 建模关系数据

1.R-GCNS-2018

---

• 记忆网络

1.End-to-End Memory Networks-2015

---

• 序列生成

1.SeqGan-2017

---

• 元学习

1.Meta-learning-2017

---

• 语音情绪识别

1.SER

---

NLP补充

---