- 课程地址:http://web.stanford.edu/class/cs224n/
- 时间:2017年
- 主讲:Christopher Manning、Richard
Lecture 1: Introduction
NLP:Natural language processing
常见自然语言项目:(又一次面试问过)
- 微软 Cortana
- 苹果 Siri (消费级技术)
- 亚马逊 Alexa
- 小米 小爱
- 百度 小度
- 天猫 天猫精灵
人类语言的特点:
- 明确的指向性
- 语言是符号、符号不基于任何逻辑和AI
- 具有连续的载体 (以唠嗑就根本停不下来)
2015年之前的机器学习都是人在做大量的数据分析(比如:手动特征工程),而机器只是在做数值的优化(事实上电脑很适合做数值优化,人类不适合)。
这并不是我们所期望的机器学习。
深度学习(Deeplearning)是表征学习(Representation Learning)的一个重要分支。
表征学习的理念是,我们可以向电脑提供来自世界的原始信号,无论是视觉信息还是语言信息,然后 电脑可以自动得出好的中介表征 来很好的完成任务,从某种意义上来说,它是自己定义特征。
深度学习不只是基于神经网络,也可以是概率模型以及其他方法运用于深度架构中。(概率图模型)
利用深度学习学习词向量,高维空间成为了非常棒的语义空间。具有相同含义的词聚集成块,向量空间存在方向,它会透露关于成分和意义的信息。
然而人类不擅长解读高维空间的信息,人类跟习惯于2维度和3维度的信息表示。