吴恩达(Andrew Ng)深度学习课程笔记目录

第一门课程中,你将学习如何建立神经网络(包含一个深度神经网络),以及如何在数据上面训练他们。在这门课程的结尾,你将用一个深度神经网络进行辨认猫。
接下来在第二门课中,我们将使用三周时间。你将进行深度学习方面的实践,学习严密地构建神经网络,如何真正让它表现良好,因此你将要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法,比如Momentum和Adam算法,犹如黑魔法一样根据你建立网络的方式。第二门课只有三周学习时间。
在第三门课中,我们将使用两周时间来学习如何结构化你的机器学习工程。事实证明,构建机器学习系统的策略改变了深度学习的错误。第三课的资料是相对比较独特的,我将和你分享。我们了解到的所有的热门领域的建立并且改良许多的深度学习问题。这些当今热门的资料,绝大部分大学在他们的深度学习课堂上面里面不会教的,我认为它会提供你帮助,让深度学习系统工作的更好。
在第四门课程中,我们将会提到卷积神经网络(CNN(s)),它经常被用于图像领域,你将会在第四门课程中学到如何搭建这样的模型。
最后在第五门课中,你将会学习到序列模型,以及如何将它们应用于自然语言处理,以及其它问题。序列模型包括的模型有循环神经网络(RNN)、全称是长短期记忆网络(LSTM)。你将在课程五中了解其中的时期是什么含义,并且有能力应用到自然语言处理(NLP)问题。

课时 周次 内容
第一课 week1
1.1什么是神经网络
1.2用神经网络进行监督学习
1.3为什么深度学习会兴起
第一课 week2
1 二分分类
2 logistic回归
3 logistic回归损失函数
4 梯度下降法
5 导数
6 计算图
7 使用计算图求导
8 logistic回归中的梯度下降法
9 m个样本的梯度下降法
10 向量化
11 向量化的更多例子
12 向量化logistic回归
13 向量化logistic回归的梯度输出
14 python中的广播
15(选修)logistic损失承数的解释
第一课 week3
1 神经网络概述
2 神经网络的表示
3 计算神经网络的输出
4 多个样本的向量化
5 向量化实现的解释
6 激活函数
7 为什么需要非线性激活函数
8 激活函数的导数
9 神经网络的梯度下降法
10 (选修)直观理解反向传播
11 随机初始化
第一课 week4 1 深层神经网络
2 前向和反向传播
3 深层网络中的前向传播
4 核对矩阵的维数
5 为什么使用深层表示
6 搭建深层神经网络块
7 参数vs超参数
8 这和大脑有什么关系
第二课 week1-week3 1训练-验证-测试集
2 偏差方差
3 机器学习基础
4 正则化
5 为什么正则化可以减少过拟合
6 dropout正则化
7 理解dropout
8 其他正则化方法
9 归一化输入
10 梯度消失与梯度爆炸
11 神经网络的权重初始化
12 梯度数值逼近
13 梯度检验
14 关于梯度检验实现的注记
2.1 Mini-batch梯度下降法
2.2理解Mini-batch梯度下降法
2.3指数加权平均
2.4理解指数加权平均
2.5指数加权平均的偏差修正
2.6动量梯度下降
2.7 RMSprop
2.8 Adam优化算法
2.9学习率衰减
2.10局部最优问题
3.1调试处理
3.2为超参数选择合适的范围
3.3超参数训练的实践pandas vs Caviar
3.4正则化网络的激活函数
3.5将Batch Norm拟合进神经网络
3.6 Batch Norm为什么奏效
3.7测试时的Batch Norm
3.8 Softmax回归
3.9训练一个Softmax分类器
3.10深度学习框架
第三课 week1-week2 1为什么是ML策略
2正交化
3单一数字评估指标
4满足和优化指标
5训练-开发-测试集的划分
6训练集开发集测试集的大小
7什么时候改变开发和测试集和指标
8为什么是人的表现
9可避免偏差
10理解人的表现
11超过人的表现
12改善你的模型的表现
2.1进行误差分析
2.2清除标记错误的数据
2.3快速搭建你的第一个系统并进行迭代
2.4在不同的划分上进行训练并测试
2.5不匹配数据划分的偏差和方差
2.6解决数据不匹配
2.7迁移学习
2.8多任务学习
2.9什么是端到端的深度学习
2.10是否要使用端到端的深度学习
第四课 week1 1 介绍
2 卷积运算
3 其他的边缘检测
4 padding
5 卷积步长
6 三维卷积
7 单层卷积网络
8 简单的卷积网络示例
9 池化层
10 卷积神经网络示例
11 为什么使用卷积
第四课 week2 1 为什么要进行实例探究
2 经典网络
3 残差网络
4 残差网络为什么有用
5 网络中的网络以及1×1的卷积
6 谷歌Inception网络简介
7 Inception网络
8 使用开源的实现方案
9 迁移学习
10 数据扩充/数据增强
11 计算机视觉现状
第四课 week3 1 目标定位
2 特征点检测
3 目标检测
4 卷积的滑动窗口实现
5 Bounding Box预测
6 交并比
7 非极大值抑制
8 Anchor box
9 YOLO算法
10 候选区域(选修)
第四课 week4 1 什么是人脸识别
2 One-shot学习
3 Siamese网络
4 Triplet损失
5 面部验证与二分类
6 什么是神经风格迁移
7 什么是深度卷积网络
8 代价函数
9 内容代价函数
10 风格代价函数
11 一维到三维的推广
第五课 week1 1.1为什么选择序列模型
1.2数学符号
1.3循环神经网络
1.4通过时间的反向传播
1.5不同类型的循环神经网络
1.6语言模型和序列生成
1.7新序列采样
1.8带有神经网络的梯度消失
1.9 GRU单元
1.10长短期记忆
1.11双向神经网络
1.12深层循环神经网络
第五课 week2 2.1词汇表征
2.2使用词嵌入
2.3词嵌入的特性
2.4嵌入矩阵
2.5学习词嵌入
2.6 Word2Vec
2.7负采样
2.8 GloVe词向量
2.9情绪分类
2.10词嵌入除偏

猜你喜欢

转载自blog.csdn.net/m0_52118763/article/details/128448812