学习笔记：cs224n1
学习视频：cs224n1
学习课件：cs224n1
第一个问题：什么是自然语言处理
自然语言处理是一个交叉学科，是计算机科学，人工智能，以及语言学的交叉学科，而且与计算机视觉相比，它是很独特的一部分，因为只有人类才拥有语言，所以自然语言处理可以说是一个很有挑战性的问题。
对于自然语言处理而言，一般有几个阶段
speech 语音 text 文本
phonetic/phonological analysis 语音/语音分析
OCR（Optical Character Recognition）光学字符识别
Tokenization 分词
Morphological analysis 形态分析
Syntactic analysis 句法分析
Semantic Interpretation 语义解释
Discourse Processing 话语处理
语音分析，分词等操作，这个是比较好理解的，日常操作。
那么形态分析是个什么鬼，翻译过来就是对词进行词的辨析分析，比如是被动语态，还是主动语态呀等操作。
句法分析就更加复杂了，还有什么句法分析树之类的balabala，主要是对整个句子的结构进行理顺，什么是根节点，然后主谓宾是什么之类的分析。
语义理解，就是语义分析，这个可能是当前研究的重点问题。
话语处理，可能就是目前根据上下文语境理解上下文的内容。
自然语言处理的应用，可以说哪里有语音有文本，哪里就可以有自然语言处理的应用，比如你复制一段话在地址框里，然后寄送地址就可以根据抽取出信息，然后避免了填写的麻烦，还是很方便的。
人语言的特殊性在于，我们说每句话都是有意义的，目的性强，每句话传达特定的含义，然后是需要一个连续的介质来进行传播信息。但一个避免不了的问题在于，稀疏性。
第二个问题，什么是深度学习
对于一直做传统的机器学习的人儿而言，深知要做好机器学习，一点要做好的一点是特征工程，整个机器学习周期，基本上都在做特征工程，如何找到好的特征是任务之最。但不是说其他部分不重要，比如数据预处理，garbage in garbage out，这是一个必然的趋势，但很大的部分数据预处理也需要特征的支持。
对于深度学习而言，引入了对问题的新的思考，如何能够更好的从数据中学习知识。深度学习提供了一种框架，通过深层次的逻辑斯蒂回归单元的组合，然后能够在不同的层学习不同层次的知识，然后不断的层次叠加，最后解决问题。在这种框架下，将人从人工提取特征解放出来，更关注于整个系统框架的构建，新模型，新网络结构的构建，新算法的研究。并且，计算能力的显著提高，对于整个深度学习的发展，起到了很重要的推动作用。
第三个问题，NLP问题难在哪里
首先，从歧义性角度来解释问题，本身语言有很多的歧义性表述，比如一次多义，还有不同的应用场景词性不同，比如不同的分割语句理解等。
其次，人们表述的复杂性，不同的场景，我们会说不同的话，可能是相同的话，相同的场景，我们也可能采用不同的描述来表述。
最后，人们的表述依赖于现实世界，依赖于常识，也依赖于结构化的知识体系。
第四个问题，自然语言处理与深度学习的结合
深度学习提供了一个框架，能够把很多问题框到框架中，然后采用工具，最后将问题得以解决。
比如情感分析，利用RNN得以解决这个问题；
QA方面，深度学习也有尝试
客服系统，基于RNN的又一次问题的解决
机器翻译，基于深度学习的方法也有了很多的尝试，有很好的表现。