公众号上抄下来的，希望自己将知识点学习一遍后再回头梳理这些内容，做为自己学习的一个指导
第一阶段 算法与机器学习基础
【核心知识点】
. 时间复杂度，空间复杂度分析
. Master's Theorem，递归复杂度分析
. 动态规划以及Dynamic Time Warpping
. Earth Mover's Distance
. 维特比算法
. LR、决策树、随机森林、XGBoost
. 梯度下降法、随机梯度下降法、牛顿法
. Projected Gradient Descent
. L0, L1, L2, L-Infinity Norm
. Grid Search, Bayesian Optimization
. 凸函数、凸集、Duality、KKT条件
. Linear SVM、Dual of SVM
. Kernel Tick, Mercer's Theorem
. Kernelized Linear Regression、Kernelized KNN
. Linear/Quadratic Programming
. Integer/Semi-definite Programming
. NP-completeness/NP-hard/P/NP
. Constrained Relaxation、Approximate Algorithm
. Convergence Analysis of Iterative Algorithm
【部分案例讲解】
. 基于Sparse Quadratic Programming的股票投资组合优化策略编写
. 基于Earth Mover's Distance的短文本相似度计算
. 基于Projected Gradient Descent和非负矩阵分解的词向量学习
. 基于Linear Programming的机票定价系统
. 基于DTW的文本相似度分析
第二阶段 语言模型与序列标注
【核心知识点】
. 文本预处理技术（tf-idf，Stemming等）
. 文本领域的特征工程
. 倒排表、信息检索技术
. Noisy Channel Model
. N-gram模型，词向量介绍
. 常见的Smoothing Techniques
. Learning to Rank
. Latent Variable Model
. EM算法与Local Optimality
. Convergence of EM
. EM与K-Means, GMM
. Variational Autoencoder与Text Disentangling
.有向图与无向图模型
. Conditional Indepence、D-separation、Markov Blanket
. HMM模型以及参数估计
. Viterbi、Baum Welch
. Log-Linear Model与参数估计
. CRF模型与Linear-CRF
. CRF的Viterbi Decoding与参数估计
【部分案例讲解】
. 基于无监督学习方法的问答系统搭建
. 基于监督学习的Aspect-Based 情感分析系统搭建
. 基于CRF、LSTM-CRF、BERT-CRF 的命名实体识别应用
. 基于语言模型和Noisy Channel Model的拼写纠错
第三阶段 信息抽取、词向量与知识图谱
【核心知识点】
. 命名实体识别技术
. 信息抽取技术
. Snowball, KnowitAll, RunnerText
. Distant Supervision, 无监督学习方法
. 实体统一、实体消歧义、指代消解
. 知识图谱、实体与关系
. 词向量、Skip-Gram、Negative Sampling
. 矩阵分解、CBOW与Glove向量
. Contexualized Embedding与ELMo
. KL Divergence与Gaussian Embedding
. 非欧式空间与Pointcare Embedding
. 黎曼空间中的梯度下降法
. 知识图谱嵌入技术
. TransE, NTN 的详解
. Node2Vec详解
. Adversial Learning与KBGAN
【部分案例讲解】
. 利用非结构化数据和信息抽取技术构建知识图谱
. 任务导向型聊天机器人的搭建
. 包含Intent与Entity Extraction的NLU模块实现
. 基于SkipGram的推荐系统实现（参考Airbnb论文）
第四阶段 深度学习与NLP
【核心知识点】
. Pytorch与Tensorflow详解. 表示学习，分布式表示技术
. 文本领域中的Disentangling
. 深度神经网络与BP算法详解
. RNN与Vanishing/Exploding Gradient
. LSTM与GRU
. Seq2Seq与注意力机制
. Greedy Decoding与Beam Search
. BI-LSTM-CRF模型
. Neural Turing Machine
. Memory Network
. Self Attention，Transformer以及Transformer-XL.
. Bert的详解
. BERT-BiLSTM-CRF
. GPT，MASS, XLNet
. Low-resource learning
. 深度学习的可视化
. Laywer-wise Relevance Propagation
【部分案例讲解】
. 利用纯Python实现BP算法
. 基于Seq2Seq+注意力机制、基于Transformer的机器翻译系统
. 基于Transformer的闲聊型聊天机器人
. 基于BI-LSTM-CRF和BERT-BiLSTM-CRF在命名实体中的比较
. 利用Laywer-wise RP可视化端到端的机器翻译系统
第五阶段 贝叶斯模型与NLP
【核心知识点】
. 概率图模型与条件独立
. Markov Blanket
. Dirichlet分布、Multinomial分布
. Beta分布、Conjugate Prior回顾
. Detail Balance
. 主题模型详解
. MCMC与吉布斯采样
. 主题模型与Collapsed Gibbs Sampling
. Metropolis Hasting, Rejection Sampling
. Langevin Dyamics与SGLD
. 分布式SGLD与主题模型
. Dynamic Topic Model
. Supervised Topic Model
. KL Divergence与ELBO
. Variantional Inference, Stochastic VI
. 主题模型与变分法
. Nonparametric Models
. Dirichlet Process
. Chinese Restarant Process
. Bayesian Deep Neural Network
. VAE与Reparametrization trick
. Bayesian RNN/LSTM
. Bayesian Word2Vec
. MMSB
【部分案例讲解】
. 利用Collapsed Gibbs Sampler和SGLD对主题模型做Inference
. 基于Bayesian-LSTM的命名实体识别
. 利用主题模型做文本分类在
. LDA的基础上修改并搭建无监督情感分析模型
第六阶段 开放式项目 （Optional）
【项目介绍】
开放式项目又称为课程的capstone项目。作为课程中的很重要的一部分，可以选择work on一个具有挑战性的项目。通过此项目，可以深入去理解某一个特定领域，快速成为这个领域内的专家，并且让项目成果成为简历中的一个亮点。
【项目流程】
Step 1: 组队
Step 2：立项以及提交proposal
Step 3: Short Survey Paper
Step 4: 中期项目Review
Step 5: 最终项目PPT以及代码提交
Step 6: 最终presentation
Step 7: Technical Report/博客
【输出结果】
完整PPT、代码和Conference-Style Technical Report 最为项目的最后阶段，我们将组织学员的presentation分享大会。借此我们会邀请一些同行业的专家、从业者、企业招聘方、优质猎头资源等共同参与分享大会。
问答系统
从零开始搭建一个完整的问答系统。给定一个语料库（问题和答案对），对于用户的输入需要返回最适合的答案。涉及到的模块：
- 对于用户的输入需要做拼写纠错，这部分会用到语言模型
- 之后对输入做文本的预处理，过滤等操作。
- 把文本转换成向量形式，这里需要用到tf-idf, word2vec等相关的技术。
- 针对于语料库，为了提升效率需要创建倒排表。
- 基于相似度的计算来获得最优的答案。
情感分析系统
基于给定数据，来搭建一个完整的情感分析系统。项目涉及到的模块：
- 数据的预处理
- 特征工程，这部分是本项目的核心。
- 监督学习模型的选择与调参。调参的过程需要尝试不同的优化策略。
知识图谱系统
利用非结构化数据来搭建知识图谱。项目涉及到的模块：
- 从非结构化数据中抽取实体，以及词典库的构建
- 关系的抽取（指定的关系）
- 实体统一以及实体消歧。
- 知识图谱的构建以及查询
对话系统中的NLU
基于给定的对话数据来构建NLU识别部分，并结果用于聊天机器人中。 项目涉及到的模块：
- 文本特征的提取
- 搭建CRF模型来识别关键词
- 搭建LSTM-CRF模型来识别关键词。
机器翻译系统
基于给定数据，来搭建一个完整的情感分析系统。项目涉及到的模块：
- 数据的预处理
- 特征工程，这部分是本项目的核心。
- 监督学习模型的选择与调参。调参的过程需要尝试不同的优化策略。
任务导向型聊天机器人
搭建一个完整的聊天机器人，用来服务搜索餐厅。项目涉及到的模块：
- 文本预处理
- 意图识别和关键信息抽取
- 对于每一个意图设计对话管理状态机
- 设计上下文处理的方法
- 对话生成模块
- 处理一些常见的boundary case。