引言
课程笔记：笔记pdf
youtube观看链接：youtube列表
bilibili观看链接：斯坦福CS224n
本讲主要包括四个方面：
- 什么是自然语言处理？
- 什么是深度学习？
- 为什么language理解起来困难？
- 关于NLP的深度学习
1. 什么是自然语言处理？
自然语言处理（Natural Language Processing）是计算机科学（Computer Science）、人工智能（Artificial Intelligence）和语言学（Linguistics）的交叉学科。它的目标是让计算机能够处理（或者说“理解”）自然语言，从而完成一些有意义的工作。
2. NLP任务的层次
让计算机理解自然语言是很困难的，因此一个NLP任务通常也会有很多步骤。大体上NLP任务可分为如下几个层次，从上到下具体是：
- 输入部分：自然语言的输入可以是语音也可以是文本，通常语音输入先要转换为文本，再进行其他处理。对于文本，如果是图片中的文字则先要通过光学字符识别（Optical Character Recognition, OCR）转换为普通的文本。NLP中，通常单词是处理的基本单位，所以最后要对普通的文本进行分词（Tokenization）操作。
- 单词结构分析（Morphological Analysis）：一些复杂的单词可以通过分析单词的结构来理解其含义，例如单词“incomprehensible”，有前缀“-in”和后缀“-ible”，我们可以根据这些来理解单词的意思。
- 句法分析（Syntactic Analysis）：句法分析用于理解句子的结构，例如“我爱学习”中，“我”是主语，“爱”是谓语，“学习”是宾语。
- 语义理解（Semantic Interpretation）：得出整个句子的意思。
- 语篇处理（Discourse Processing）：在文章中，句子不是独立的，还需要通过上下文得出整个文章的意思。
在这门课程中，我们主要关注句法分析和语义理解这两部分，同时也会涉及一些语音识别的知识。同时因为这门课的名字是Natural Language Processing with Deep Learning，所以在这门课中所使用的方法也大多是深度学习的方法。
3. 自然语言处理的应用
从简单到复杂有：
- 拼写检查、文字的自动填写功能……
- 文本挖掘（产品价格、日期、时间、地点、人名、公司名）
- 文本分类
- 机器翻译
- 问答系统、聊天机器人、智能语音助手
- ……
4. 人类语言的特殊之处
语言与信号处理、数据挖掘时所思考的是不同的，在信号处理、数据挖掘过程中大多数情况下只是处理数据。
人类语言是离散的、明确的符号系统。
语言符号有多种形式（声音、手势、书写），在这些不同的形式中，其意义保持不变：
5. 什么是深度学习？
深度学习（Deep Learning）是机器学习的一个子集。
传统机器学习（主要是决策树、SVM、朴素贝叶斯、LR）中，人类需要对专业问题理解非常透彻，才能手工设计特征。然后把特征交给某个机器学习算法，比如线性分类器。机器为这些特征调整找到合适的权值，将误差优化到最小。
如上图所示，传统的机器学习算法在应用的过程中，大部分的工作是人们研究如何描述特征，同时总结出重要特征。小部分的工作是计算机进行优化。
在深度学习中，我们只需向计算机提供来自世界的原始信号（视觉信号或语音信号），计算机可以得出好的中介表征，来完成任务。
6. 为什么要研究深度学习？
-
手工特征耗时耗力，且不易拓展
-
自动特征学习快，方便拓展
-
深度学习提供了一种通用的学习框架，可用来表示世界、视觉和语言学信息
-
深度学习既可以无监督学习，也可以监督学习
深度学习可追溯到八九十年代，但在2010年左右才崛起（最先是语音与图像，后来才是NLP），那之前为什么没有呢？
- 以前数据量不够，如今有海量数据可以用于深度学习。
- 计算力太弱。
- 当然，最近也的确有许多新模型，新算法。
7. NLP困难在哪？
人类语言是充满歧义的，不像编程语言那样明确。
人类语言的解读依赖于现实世界、常识以及上下文。由于说话速度书写速度阅读速度的限制，人类语言非常简练，省略了大量背景知识。
8. deep nlp
deep nlp = deep learning + nlp
将自然语言处理的思想与表示学习结合起来，用深度学习的手法解决NLP目标。这提高了许多方面的效果：
-
层次：语音、词汇、语法、语义
-
工具：词性标注、命名实体识别、句法\语义分析
-
应用：机器翻译、情感分析、客服系统、问答系统
9. 词的表示
我们将把某个词的含义，用一个向量来表达。
例如“except”一词，可以使用如下向量表示：
这就意味着，我们将单词放在高维向量空间中，构成了语义空间。具有相似含义的词汇将在矢量空间中形成聚集块。如下图所示，'come' 与 ‘go’ 很相似。
不止如此，我们会发现，向量空间中存在方向，它们会透露关于成分和意义的信息。
10. NLP 表示层次
传统情况下如果我们看到复杂的词，例如uninterested，会认为它是由更小单元的词素（词素是构成词的要素。是语言中最小单位的音义结合体）组成的。
我们可以把词语的组成部分看做，代表单词部分含义的多个向量。我们要做的，就是建立一个神经网络，用小块单元构成更大的单元。多个词素向量构成语义更丰富的词向量。
NLP工具：句法分析
再进一步，词语之上，我们想了解句子的结构。找出句子的结构，发现句法停顿处。
找到句子的结构后，我们想要了解句子的含义。我们以向量表示词语含义，继而用向量表示短语的含义，甚至句子的含义。
问答系统：
人类可以与移动设备进行交互。
客服系统：
最著名的例子得数GMail的自动回复：
可以生成谷歌收件箱的建议回复，即运用循环神经网络（RNN) 阅读消息，然后对信息给出三条建议回复。
机器翻译
下图所示的机器翻译不同于传统的机器翻译，运用了一个大型的，深层的循环神经网络。通过原文生成向量，由向量构建译文。
所有层级的表示都是向量，我们用来表示所有的语言形式（包括：声音、词的部分、单词、句子，对话），它们都变成了含有真实值的向量。
这可能是因为向量是最灵活的形式，它的维度是自由的，它可以组合成矩阵，或者更高阶的Tensor。它的不同部分，或者不同的方向，代表不同的信息。这实际上是非常灵活的数据结构，拥有强大的表达能力。