第三阶段 无监督学习与序列模型
【核心知识点】
- K-means、GMM以及EM
- 层次聚类，DCSCAN，Spectral聚类算法
- 隐变量与隐变量模型、Partition函数
- 条件独立、D-Separation、Markov性质
- HMM以及基于Viterbi的Decoding
- Forward/Backward算法
- 基于EM算法的参数估计
- 有向图与无向图模型区别
- Log-Linear Model，逻辑回归，特征函数
- MEMM与Label Bias问题
- Linear CRF以及参数估计
第四阶段 深度学习
【核心知识点】
- 神经网络与激活函数
- BP算法、卷积层、Pooling层、全连接层
- 卷积神经网络、常用的CNN结构
- Dropout与Batch Normalization
- SGD、Adam、Adagrad算法
- RNN与梯度消失、LSTM与GRU
- Seq2Seq模型与注意力机制
- Word2Vec, Elmo, Bert, XLNet
- 深度学习中的调参技术
- 深度学习与图嵌入（Graph Embedding）
- Translating Embedding (TransE)
- Node2Vec
- Graph Convolutional Network
- Graph Neural Network
- Dynamic Graph Embedding
【部分案例讲解】
- 基于Seq2Seq和注意力机制的机器翻译
- 基于TransE和GCN的知识图谱推理
- 基于CNN的人脸关键点检测