【NLP】cs224n课程笔记

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_37251044/article/details/83473874

一、前言

自然语言是人类智慧的结晶,自然语言处理是人工智能中最为困难的问题之一,而对自然语言处理的研究也是充满魅力和挑战的。 通过经典的斯坦福cs224n教程,让我们一起和自然语言处理共舞!也希望大家能够在NLP领域有所成就!


二、先修知识(学习的过程中可以遇到问题后再复习)

了解python基础知识了解高等数学、概率论、线性代数知识了解基础机器学习算法:梯度下降、线性回归、逻辑回归、Softmax、SVM、PAC(先修课程斯坦福cs229 或者周志华西瓜书)具有英语4级水平(深度学习学习材料、论文基本都是英文,一定要阅读英文原文,进步和提高的速度会加快!!!!)以上知识要求内容可在最下方的知识工具中查找


三、每周学习时间安排

每周具体学习时间划分为4个部分:

1部分安排周一到周二2部分安排在周四到周五3部分安排在周日4部分作业是本周任何时候空余时间周日晚上提交作业运行截图周三、周六休息_


(以下的部分链接在手机端无法正常显示,请复制链接到电脑浏览器打开)




课程资料:


课程主页: https://web.stanford.edu/class/cs224n /

中文笔记: http://www.hankcs.com/nlp/cs224n-introduction-to-nlp-and-deep-learning.html

http://www.hankcs.com/tag/cs224n/

课程视频: https://www.bilibili.com/video/av30326868/?spm_id_from=333 .788.videocard.0

实验环境推荐使用Linux或者Mac系统,以下环境搭建方法皆适用:

· Docker环境配置: https://github.com/ufoym/deepo

· 本地环境配置: https://github.com/learning511/cs224n-learning-camp/blob/master/environment.md

注册一个github账号:github.com

后续发布的一些project和exercise会在这个github下:

 https://github.com/learning511/cs224n-learning-camp

重要的一些资源:

深度学习斯坦福教程: http://deeplearning.stanford.edu/wiki/index.php/UFLDL教程

廖雪峰python3教程: https://www.liaoxuefeng.com/article/001432619295115c918a094d8954bd493037b03d27bf9a9000

github教程: https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000

莫烦机器学习教程: http://morvanzhou.github.io/tutorials /

深度学习经典论文: https://github.com/floodsung/Deep-Learning-Papers-Reading-Roadmap

斯坦福cs229代码(机器学习算法python徒手实现): https://github.com/nsoojin/coursera-ml-py

本人博客: https://blog.csdn.net/dukuku5038/article/details/82253966

知识工具

为了让大家逐渐适应英文阅读,复习材料我们有中英两个版本,但是推荐大家读英文

数学工具

斯坦福资料:

线性代数(链接地址: http://web.stanford.edu/class/cs224n/readings/cs229-linalg.pdf )概率论(链接地址: http://101.96.10.44/web.stanford.edu/class/cs224n/readings/cs229-prob.pdf )凸函数优化(链接地址: http://101.96.10.43/web.stanford.edu/class/cs224n/readings/cs229-cvxopt.pdf )随机梯度下降算法(链接地址: http://cs231n.github.io/optimization-1 /)

中文资料:

机器学习中的数学基本知识(链接地址: https://www.cnblogs.com/steven-yang/p/6348112.html )统计学习方法(链接地址: http://vdisk.weibo.com/s/vfFpMc1YgPOr )大学数学课本(从故纸堆里翻出来_

编程工具

斯坦福资料:

Python复习(链接地址: http://web.stanford.edu/class/cs224n/lectures/python-review.pdf )TensorFlow教程(链接地址: https://github.com/open-source-for-science/TensorFlow-Course#why-use-tensorflow )

中文资料:

廖雪峰python3教程(链接地址: https://www.liaoxuefeng.com/article/001432619295115c918a094d8954bd493037b03d27bf9a9000 )莫烦TensorFlow教程(链接地址: https://morvanzhou.github.io/tutorials/machine-learning/tensorflow /)

作业参考答案:http://www.hankcs.com/nlp/cs224n-assignment-1.html
达观杯:https://github.com/MLjian/TextClassificationImplement

第一周

四、分节学习内容

第1部分学习任务:

(1)观看自然语言处理课学习绪论,了解深度学习的概括和应用案例以及训练营后续的一些学习安排

学习时长:10/23—10/28

绪论视频地址: https://m.weike.fm/lecture/10194068

(2)自然语言处理和深度学习简介,观看课件lecture01、视频1、学习笔记

学习时长:10/23

课件: lecture01(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture1.pdf )观看视频1(链接地址: https://www.bilibili.com/video/av30326868/?spm_id_from=333 .788.videocard.0)学习笔记:自然语言处理与深度学习简介(链接地址: http://www.hankcs.com/nlp/cs224n-introduction-to-nlp-and-deep-learning.html )


第4部分作业:Assignment 1.1-1.2(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md )

1.1 Softmax 算法1.2 Neural Network Basics 神经网络基础实现

完成时间:本周任何空余时间

作业截止提交时间:10/28号之前

作业提交方式:在训练营中打卡提交作业运行截图

四、分节学习内容
第3部分学习任务:
(1)观看自然语言处理课学习绪论,了解深度学习的概括和应用案例以及训练营后续的一些学习安排
学习时长:10/23—10/28
绪论视频地址: https://m.weike.fm/lecture/10194068
(2)论文导读:一个简单但很难超越的Sentence Embedding基线方法
学习时长:10/28
论文原文: paper(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/paper/A Simple but Tough-to-beat Baseline for Sentence Embeddings.pdf
论文分析: highlight(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture1-highlight.pdf
论文笔记:Sentence Embedding(链接地址: http://www.hankcs.com/nlp/cs224n-sentence-embeddings.html
(3)观看达观杯NLP算法大赛报名指导PDF和入门指导视频
学习时长:10/25—11/4
零基础1小时完成一场AI比赛
达观杯文本智能挑战赛入门指导(视频在下方,如果不清楚也可以去荔枝微课看 https://m.weike.fm/lecture/10195400 ,密码是011220)

02零基础1小时完成一场AI比赛.pdf
2018.10.22

03 达观杯文本智能挑战赛.mp4 2018.10.22
第4部分作业:Assignment 1.1-1.2(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md
1.1 Softmax 算法
1.2 Neural Network Basics 神经网络基础实现
完成时间:本周任何空余时间
作业截止提交时间:10/28号之前
作业提交方式:发送到训练营公共邮箱(具体操作方法已私发给各位同学,还不清楚的请私聊小享)

第二周

四、分节学习内容
第1部分学习任务:
(1)高级词向量表示:word2vec 2,观看课件lecture03、视频3、学习笔记
学习时长:10/29—10/30
课件: lecture03(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture3.pdf
观看视频3(链接地址: https://www.bilibili.com/video/av30326868/?p=3
学习笔记:word2vec 2(链接地址: http://www.hankcs.com/nlp/cs224n-advanced-word-vector-representations.html
(2)观看达观杯NLP算法大赛报名指导PDF和入门指导视频
学习时长:10/25—11/4
零基础1小时完成一场AI比赛
达观杯文本智能挑战赛入门指导(视频在下方,如果不清楚也可以去荔枝微课看 https://m.weike.fm/lecture/10195400 ,密码是011220)

02零基础1小时完成一场AI比赛.pdf
2018.10.22

03 达观杯文本智能挑战赛.mp4 2018.10.22
第4部分作业:Assignment 1.3-1.4(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md
1.3 word2vec 实现
1.4 Sentiment Analysis 情绪分析
完成时间:本周任何空余时间
作业截止提交时间:11/4号之前
作业提交方式:发送到训练营公共邮箱(具体操作方法已私发给各位同学,还不清楚的请私聊小享)

四、分节学习内容
第2部分学习任务:
(1)Word Window分类与神经网络,观看课件lecture04、视频4、学习笔记
学习时长:11/1—11/2
课件: lecture04(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture4.pdf
观看视频4(链接地址: https://www.bilibili.com/video/av30326868/?p=4
学习笔记:Word Window分类与神经网络(链接地址: http://www.hankcs.com/nlp/cs224n-word-window-classification-and-neural-networks.html
(2)观看达观杯NLP算法大赛报名指导PDF和入门指导视频
学习时长:10/25—11/4
零基础1小时完成一场AI比赛
达观杯文本智能挑战赛入门指导(视频在下方,如果不清楚也可以去荔枝微课看 https://m.weike.fm/lecture/10195400 ,密码是011220)

02零基础1小时完成一场AI比赛.pdf
2018.10.22

03 达观杯文本智能挑战赛.mp4 2018.10.22
第4部分作业:Assignment 1.3-1.4(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md
1.3 word2vec 实现
1.4 Sentiment Analysis 情绪分析
完成时间:本周任何空余时间
作业截止提交时间:11/4号之前
作业提交方式:发送到训练营公共邮箱(具体操作方法已私发给各位同学,还不清楚的请私聊小享)

第三周

二、分节学习内容
第1部分学习任务:
(1)反向传播与项目指导:Backpropagation and Project Advice,观看课件lecture05、视频5、学习笔记
学习时长:11/12—11/13
课件: lecture05(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture5.pdf
观看视频5(链接地址: https://www.bilibili.com/video/av30326868/?p=5
学习笔记:反向传播与项目指导(链接地址: http://www.hankcs.com/nlp/cs224n-backpropagation-and-project-advice.html
第4部分作业:Assignment 2.2(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md
Neural Transition-Based Dependency Parsing 基于神经网络的依赖分析
完成时间:本周任何空余时间
作业截止提交时间:11/18号之前
作业提交方式:发送到训练营公共邮箱(具体操作方法已私发给各位同学,还不清楚的请私聊小享)

二、分节学习内容
第3部分学习内容
(1)论文导读:高效文本分类
学习时长:11/18
论文原文: paper(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/paper/Bag of Tricks for Efficient Text Classification.pdf
论文分析: highlight(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture3-highlight.pdf
论文笔记:高效文本分类(链接地址: http://www.hankcs.com/nlp/cs224n-bag-of-tricks-for-efficient-text-classification.html
第4部分作业:Assignment 2.2(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md
Neural Transition-Based Dependency Parsing 基于神经网络的依赖分析
完成时间:本周任何空余时间
作业截止提交时间:11/18号之前
作业提交方式:发送到训练营公共邮箱(具体操作方法已私发给各位同学,还不清楚的请私聊小享)

第四周

览器打开)

二、分节学习内容
第1部分学习任务:
(1)TensorFlow入门,观看课件lecture07、视频、学习笔记
学习时长:11/19—11/20
课件: lecture07(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture7-tensorflow.pdf
观看视频7(链接地址: https://www.bilibili.com/video/av30326868/?p=7
学习笔记:TensorFlow(链接地址: http://www.hankcs.com/nlp/cs224n-tensorflow.html
(2)观看达观杯NLP算法大赛进阶指导视频
学习时长:11/19—12/2
达观杯文本智能挑战赛进阶指导(视频在下方,如果不清楚也可以去荔枝微课看 https://m.weike.fm/lecture/10726829 ,密码是011220)


04达观杯之文本分类任务解析与代码使用(进阶指导).mp4 2018.11.18
第4部分作业:Assignment 2.1,2.2(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md
2.1Tensorflow Softmax 基于TensorFlow的softmax分类
2.2 Neural Transition-Based Dependency Parsing 基于神经网络的依赖分析

二、分节学习内容
第3部分学习任务:
(1)论文导读:词嵌入对传统方法的启发
学习时长:11/25
论文原文: paper(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/paper/Impoving distributional similarly with lessons learned from word embeddings.pdf
论文分析: highlight(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture4-highlight.pdf
论文笔记:词嵌入对传统方法的启发(链接地址: http://www.hankcs.com/nlp/cs224n-improve-word-embeddings.html
(2)观看达观杯NLP算法大赛进阶指导视频
学习时长:11/19—12/2
达观杯文本智能挑战赛进阶指导(视频在下方,如果不清楚也可以去荔枝微课看 https://m.weike.fm/lecture/10726829 ,密码是011220)

04达观杯之文本分类任务解析与代码使用(进阶指导).mp4 2018.11.18
第4部分作业:Assignment 2.1,2.2(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md
2.1Tensorflow Softmax 基于TensorFlow的softmax分类
2.2 Neural Transition-Based Dependency Parsing 基于神经网络的依赖分析

第五周

二、分节学习内容

第1部分学习任务:

(1)高级LSTM及GRU:LSTM and GRU,观看课件lecture09、视频、学习笔记

学习时长:11/26—11/27

课件: lecture09(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/lecture-notes/cs224n-2017-lecture9.pdf )观看视频9(链接地址: https://www.bilibili.com/video/av30326868/?p=9 )学习笔记:高级LSTM及GRU(链接地址: http://www.hankcs.com/nlp/cs224n-mt-lstm-gru.html )

(2)观看达观杯NLP算法大赛进阶指导视频

学习时长:11/19—12/2

达观杯文本智能挑战赛进阶指导(视频在下方,如果不清楚也可以去荔枝微课看 https://m.weike.fm/lecture/10726829 ,密码是011220)

 

04达观杯之文本分类任务解析与代码使用(进阶指导).mp4

2018.11.18

第4部分作业:Assignment 2.3(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md )

Recurrent Neural Networks: Language Modeling 循环神经网络语言建模

完成时间:本周任何空余时间

作业截止提交时间:12/2号之前

作业提交方式:发送到训练营公共邮箱(具

脑浏览器打开)


二、分节学习内容

第3部分学习任务:

(1)论文导读:基于转移的神经网络句法分析的结构化训练

学习时长:12/2

论文原文: paper(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/paper/Structured Training for Neural Network Transition-Based Parsing.pdf )论文分析: highlight(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/paper/highlight/cs224n-2017-lecture6-highlight.pdf )论文笔记:基于神经网络句法分析的结构化训练(链接地址: http://www.hankcs.com/nlp/cs224n-syntaxnet.html )

(2)观看达观杯NLP算法大赛进阶指导视频

学习时长:11/19—12/2

达观杯文本智能挑战赛进阶指导(视频在下方,如果不清楚也可以去荔枝微课看 https://m.weike.fm/lecture/10726829 ,密码是011220)

 

04达观杯之文本分类任务解析与代码使用(进阶指导).mp4

2018.11.18

第4部分作业:Assignment 2.3(链接地址: https://github.com/learning511/cs224n-learning-camp/blob/master/Assignmnet.md )

Recurrent Neural Networks: Language Modeling 循环神经网络语言建模

完成时间:本周任何空余时间

作业截止提交时间:12/2号之前

作业提交方式:发送到训练营公共邮箱(具体操作方法已私发给各位同学,还不清楚的请私聊小享)

猜你喜欢

转载自blog.csdn.net/weixin_37251044/article/details/83473874