简述深度学习路线

小编简单的罗列出本人从接触深度学习,到阅读各位大佬的路线以及自身的切身体会,简单陈述一下深度学习的一个基本路线,仅供参考,如有错误欢迎指出(本人于19年年末接触机器学习,正式学深度学习从21年年初开始,20年一整年在备考)
注意: 本文假定读者已经拥有一定的python编程以及一定的机器学习知识。

一、入门阶段–视频为主,书籍为辅,代码其次

基础阶段个人建议可以通过看基础视频以及入门的书籍,掌握深度学习基本知识,对深度学习有个宏观的认识,搭建起大致的深度学习框架。

首先推荐的入门视频当然是吴恩达老师的深度学习视频(B站自提),需要注意的是ng讲的内容偏理论一些,但是这些理论是各位日后调参跑模型必须知道的基础知识,比如你的模型过拟合了,那么你应该用什么方法去解决,方法之间的差距在哪里,不同的方法的使用情况等等,这些都会在视频中被讲到,视频的刚开始会讲到一些基本的机器学习知识,建议各位还是看一下的为好,温故而知新嘛,视频的整体逻辑是前几节课给大家讲解一学深度学习中常用的调试方法或者策略,大家也许觉得有些枯燥,但是请各位一定耐心看下去,之后的几节课会介绍深度学习的基本知识比如什么是卷积,什么是卷积神经网络等等,之后就是深度学习的具体应用,比如目标检测,风格迁移以及一些常见的模型等,最后会介绍一些常用的NLP领域常用的基本技术以及常见的模型例如GRU,LSTM,以及注意力机制等。by the way,本视频的笔记已经在GitHub上可以找打,主要由黄博士团队进行制作,视频看完之后可以当作复习材料食用,很不错。至此,各位已经基本掌握了深度学习的基本知识,或者说,各位已经成功入门深度学习。
之后推荐一下李沐老师(沐神)的视频:动手学深度学习系列(B站自提),该系列视频也可配合沐神的书《动手学深度学习》同步食用(如果此时不想看书,也可以在视频结束后看第二阶段推荐的鱼书,因为鱼书更适合入门,但是该书与该视频更搭),与前者的区别在于沐神的每一个视频一般分为三部分,即基础知识,代码,QA(提问),因此可以在第一部分看到该知识点的讲解,在第二部分可以看到沐神给你讲解该部分对应的代码,以及代码都做了什么工作,一些时候沐神会亲自去调试代码让各位对代码有更直观的认识,在第三部分,同学们会提出关于本章节或者一些其他关于深度学习的问题,沐神现场给出相应的看法,个人觉得本环节很棒,可以拓宽自己的视野,也可以在别人提出的问题中反思自己本节课到底学习到什么知识点。by the way,《动手学深度学习》(dive into deeplearning)现在已经出到第二版(链接为:https://zh-v2.d2l.ai/),本书沐神包括实体书也给出了相应的网址,如果各位不方便获取实体书的话,可以考虑利用本书的主页来学习,并且主页上的代码可以直接粘贴到自己的本机上运行,获得更加真切的体会,第二版的书籍中加入了PyTorch框架,第一版的书籍则主要是以MXNet为主要框架展开,但是对于一些常见的模型或者基本的函数还是建议在理解了之后自己手动敲一遍,毕竟看别人的代码和自己全部手写一遍差距还是比较大。

二、进阶阶段–书籍为主,视频为辅,代码其次

进阶阶段个人建议可以通过阅读一些深入的书籍,对深度学习基本知识有更深的体会,加强知识点之间的串联,对想了解的领域可以有针对性地看看相关的视频。

首先推荐的是鱼书,即《深度学习入门 基于Python的理论与实现》,按说本书应该在基础阶段给大家,因为本书实在是太适合入门,书中从零开始实现了深度学习的一些算法,以及对基本的算法进行了详细的讲解,例如:对常见的激活函数,多层感知机等很基础的方法做了详尽的解释。本书在最后两个章节才给大家介绍了深度学习的基本知识,且最后一个章节只是简单的提及了一些常见的模型例如VGG,RseNet等。
对于书籍当然少不了深度学习著作 花书,即《深度学习》, 本书的最大优点就是从原理部分讲解了深度学习的一些处理方法,大量的罗列出一些常见的公式以及具体的推导过程,本书一共20章节,前半部分即前10章节主要进行基本的深度学习介绍,后10章节主要介绍了有关深度学习中一些深入的方向的研究(后十部分由于小编实在太水,看不太懂,没怎么看这里,且整本书也就是在需要用到某些公式或者定理的时候才会翻一下,并没有详细的阅读),如果需要深入研究深度学习的大佬,强烈建议把这个书好好阅读一下,相信在横向或纵向都会对深度学习有更全面的认识,一个冷知识:本书的第一作者 Ian Goodfellow曾经是Andrew Ng(吴恩达)的学生,在Ng采访的时候Goodfellow说正是因为上了Ng的课,才激发了其对深度学习的兴趣,by the way,GAN(生成对抗网络)这个广为人知的模型也是出自Ian Goodfellow前辈之手。
之后推荐李宏毅老师的深度学习视频(B站自提),李老师视频个人看的不是很多,但是可以感受到李老师讲课还是有自己的心得,由于需要,本人看过李老师视频LSTM部分以及GAN部分,在对这二者有一定的了解的情况下,有针对性地看李老师的视频可以获得更深的体会,对相应的知识点也能有更深入的认识。
然后推荐Stanford CS230(B站自提),这个课由Stanford教学团队进行联合授课,每一节课都包含一个主题,一共10节课,有时间的同学可以都进行阅览,或者按照视频的主题有针对的去看对应课程的视频。
最后推荐的就是Stanford CS231n(B站自提),本课程在B站上可以看到附加了计算机视觉课程字样,主要由Stanford李飞飞教授团队进行讲授,因此本课程适合做视觉的同学去看,但是视频中也是花了一些课时讲授了RNN(循环神经网络)以及DRL(深度强化学习)的知识,不需要的同学可以自行选择跳过。

三、高级阶段–论文代码为主,视频为辅,书籍其次

此时各位已经掌握了深度学习相关的基本知识,了解到深度学习的应用领域,高级阶段详细各位有能力去搜索筛选自己的感兴趣领域进行深入学习

高级阶段个人建议首先应该对深度学习的代码进行阅读,并在阅读的基础上尝试着自己去跑一些基本的模型,通过亲手调试代码跑代码可以对自己学习到的知识更好的理解以及熟悉基本知识到底应该如何应用到实际当中,之后通过阅读一些经典的论文,例如LeNet、AlexNet、VGG等,通过论文更加具体的了解相关的模型或者方法到底如何实现,从而对自己未来实现相关的深度学习任务打下一定的基础。
之后推荐一下Kaggle竞赛,这是比较知名的深度学习竞赛,题目会给出数据集以及一个问题,需要各位通过深度学习的方法完成题目的问题,各位可以从竞赛中学习到如何将自己所学与实际应用结合起来,比如模型的调优,数据的选择以及预处理等等,并且自己可以找一些志同道合的朋友组队打比赛,大家相互鼓励相互促进相互学习。
高级阶段给大家推荐一下深度学习的圣经PRML,即 《Pattern Recognition and Machine Learning》,以及机器学习的圣经ESL,即 《The Elements of Statistical Learning》,这两本书据说工作很久的深度学习攻城狮也会当作工具书,有时候出现一些错误,或者某些知识点含混不清可以通过这两本书找到答案。目前两本书均有中文版资料,这两本书可以理解为花书的升级版,因为两书中也是大量利用公式推导来解释一些深度学习的知识,由于众所周知的原因,如果英语功底较好的大佬还是建议直接看原版书籍。
小编的眼界仅限于此,满打满算接触深度学习也就半年多时间,需要补充的知识还有很多,上文不足之处还请各位海涵,最后,祝各位前程似锦,工作生活顺利。

おすすめ

転載: blog.csdn.net/qq_44614524/article/details/121157314