cs231n深度学习笔记大纲

cs231n课程链接记一下,方便查阅:

原文:[python/numpy tutorial]

翻译:Python Numpy教程

我们将使用Python编程语言来完成本课程的所有作业。Python是一门伟大的通用编程语言,在一些常用库(numpy, scipy, matplotlib)的帮助下,它又会变成一个强大的科学计算环境。我们期望你们中大多数人对于Python语言和Numpy库比较熟悉,而对于没有Python经验的同学,这篇教程可以帮助你们快速了解Python编程环境和如何使用Python作为科学计算工具。

原文:[image classification notes]

翻译:图像分类笔记(上)(下)

该笔记是一篇介绍性教程,面向非计算机视觉领域的同学。教程将向同学们介绍图像分类问题和数据驱动方法,内容列表:
  • 图像分类、数据驱动方法和流程
  • Nearest Neighbor分类器
    • k-Nearest Neighbor 译者注:上篇翻译截止处
  • 验证集、交叉验证集和超参数调参
  • Nearest Neighbor的优劣
  • 小结
  • 小结:应用kNN实践
  • 拓展阅读

原文:[linear classification notes]

翻译:线性分类笔记(上)(中)(下)

我们将要实现一种更强大的方法来解决图像分类问题,该方法可以自然地延伸到神经网络和卷积神经网络上。这种方法主要有两部分组成:一个是 评分函数(score function),它是原始图像数据到类别分值的映射。另一个是 损失函数(loss function),它是用来量化预测分类标签的得分与真实标签之间一致性的。该方法可转化为一个最优化问题,在最优化过程中,将通过更新评分函数的参数来最小化损失函数值。内容列表:
  • 线性分类器简介
  • 线性评分函数
  • 阐明线性分类器 译者注:上篇翻译截止处
  • 损失函数
    • 多类SVM
    • Softmax分类器
    • SVM和Softmax的比较
  • 基于Web的可交互线性分类器原型
  • 小结

原文:[optimization notes]

翻译:最优化笔记(上)(下)

该笔记介绍了图像分类任务的第三个关键部分:最优化。内容列表如下:
  • 简介
  • 损失函数可视化
  • 最优化
    • 策略#1:随机搜索
    • 策略#2:随机局部搜索
    • 策略#3:跟随梯度 译者注:上篇截止处
  • 梯度计算
    • 使用有限差值进行数值计算
    • 微分计算梯度
  • 梯度下降
  • 小结

原文:[backprop notes]

翻译:反向传播笔记

该笔记本将帮助读者 对反向传播形成直观而专业的理解。反向传播是利用链式法则递归计算表达式的梯度的方法。理解反向传播过程及其精妙之处,对于理解、实现、设计和调试神经网络非常关键。内容里列表如下:
  • 简介
  • 简单表达式和理解梯度
  • 复合表达式,链式法则,反向传播
  • 直观理解反向传播
  • 模块:Sigmoid例子
  • 反向传播实践:分段计算
  • 回传流中的模式
  • 用户向量化操作的梯度
  • 小结

原文:Neural Nets notes 1

翻译:神经网络笔记1(上)(下)

该笔记介绍了神经网络的建模与结构,内容列表如下:
  • 不用大脑做类比的快速简介
  • 单个神经元建模
    • 生物动机和连接
    • 作为线性分类器的单个神经元
    • 常用的激活函数
  • 神经网络结构
    • 层组织
    • 前向传播计算例子
    • 表达能力
    • 设置层的数量和尺寸
  • 小节
  • 参考文献

原文:Neural Nets notes 2

翻译:神经网络笔记2

该笔记介绍了数据的预处理,正则化和损失函数,内容列表如下:
  • 设置数据和模型
    • 数据预处理
    • 权重初始化
    • 批量归一化(Batch Normalization)
    • 正则化(L2/L1/Maxnorm/Dropout)
  • 损失函数
  • 小结

原文:Neural Nets notes 3

翻译:神经网络笔记3(上)(下)

该笔记讲解了神经网络的动态部分,即神经网络学习参数和搜索最优超参数的过程。内容列表如下:

  • 梯度检查
  • 合理性(Sanity)检查
  • 检查学习过程
    • 损失函数
    • 训练集与验证集准确率
    • 权重:更新比例
    • 每层的激活数据与梯度分布
    • 可视化 译者注:上篇翻译截止处
  • 参数更新
    • 一阶(随机梯度下降)方法,动量方法,Nesterov动量方法
    • 学习率退火
    • 二阶方法
    • 逐参数适应学习率方法(Adagrad,RMSProp)
  • 超参数调优
  • 评价
    • 模型集成
  • 总结
  • 拓展引用


 

原文:ConvNet notes

翻译:卷积神经网络笔记

内容列表:

  • 结构概述
  • 用来构建卷积神经网络的各种层
    • 卷积层
    • 汇聚层
    • 归一化层
    • 全连接层
    • 将全连接层转化成卷积层
  • 卷积神经网络的结构
    • 层的排列规律
    • 层的尺寸设置规律
    • 案例学习(LeNet / AlexNet / ZFNet / GoogLeNet / VGGNet)
    • 计算上的考量
  • 拓展资源
  • 完成了3个课程作业页面的翻译

原文:[Assignment #1]

翻译:CS231n课程作业#1简介

作业内容:实现k-NN,SVM分类器,Softmax分类器和两层神经网络,实践一个简单的图像分类流程。

原文:[Assignment #2]

翻译:CS231n课程作业#2简介

作业内容:练习编写反向传播代码,训练神经网络和卷积神经网络。

原文:[Assignment #3]

翻译:CS231n课程作业#3简介

作业内容:实现循环网络,并将其应用于在微软的COCO数据库上进行图像标注。实现DeepDream等有趣应用。0

转自知乎:https://zhuanlan.zhihu.com/p/21930884

猜你喜欢

转载自blog.csdn.net/mingqi1996/article/details/81279806