Machine Learning Overview

什么是机器学习?有什么用?

1. 机器学习是什么?
   
   1. 以前已知方程和x,求y.机器学习是已知x和y,求方程.
2. 有什么用?
   
   1. 机器学习可以用来解决回归预测,分类,聚类等问题.
3. 如何学习机器学习
   
   1. https://www.zhihu.com/question/51039416/ 普通程序员如何正确学习人工智能方向的知识？
   2. CS229入门,可以辅助看看《Python机器学习》
   3. 进阶阶段可以在kaggle练习.可以辅助看看周志华的《机器学习》
   4. 搞搞深度学习.
   5. 深入研究,订阅arvix,关注顶会,开始紧跟业界吧!
4. 机器学习操作套路
   
   1. 首先当然是把问题转化成数学语言了.比如用线性回归公式来表示问题.(这里涉及到各种模型)
   2. 然后得到一个可以优化的公式,$loss function = 预测函数 -真实值$.
   3. 然后不断优化(拟合),这里涉及到很多优化方法.
      
      1. gradient descent.局部最优.
         
         1. Least Mean Square 最小均方算法
      2. Newton’s Method.全局最优.
      3. Exponential family.
      4. Generalized Linear Model.
   4. 当然过拟合也不好,所以我们引入一些防止泛化的方法.
      
      1. 正则化.

概念树/mindmap/目录

1. 机器学习算法大致可以分为三种
   
   1. 监督学习.输入数据若带有标签,那就是监督学习.
      
      1. 回归算法.
      2. 分类算法.
   2. 非监督学习.
      
      1. 聚类
      2. 降维
   3. 增强学习.通过不断试错来实现最佳策略.
      
      1. 增强学习.通过不断试错,修正模型.适合各种游戏开挂;
      2. 试错学习,没有直接的指导,需要通过不断试错来获得最佳策略.
      3. 延迟回报,所有的回报只有最后游戏结束才知道,所以最后的回报需要不断回溯到前面的状态.
2. 两类机器学习算法
   
   1. Generative learning algorithms.
      
      1. Gaussian discriminant analysis.
      2. Naive Bayes.
      3. HMM.
   2. Discriminative learning algorithms.
      
      1. SVM.
      2. Logistic Regression.
   3. 个人总结
      
      1. https://stackoverflow.com/a/879591 说到了根本, generative==joint probability & discriminative==
      2. 判别式就是画一条线,线能够绝对区分类别;生成式就是通过已知数据生成一个模型(或者一个范围/一个圈),后续判断落在这个圈的就是这个类别.
      3. 机器学习“判定模型”和“生成模型‘有什么区别？ https://www.zhihu.com/question/20446337

权威资料

1. 教材
   
   1. 机器学习 周志华
      
      1. 建议把西瓜书作为参考书而不是主力阅读书。
      2. 西瓜书因为篇幅的限制，涵盖了很多的内容但无法详细的展看来讲，对于初学者自学来说实际阅读很大。
      3. 这本书更适合作为学校的教材或者中阶读者自学使用，入门时学习这本书籍难度稍微偏高了一些。
   2. Machine Learning Foundation 機器學習基石上
   3. Machine Learning Techniques 機器學習技法
2. 本科课程
   
   1. http://cs229.stanford.edu/
   2. http://www.cs.cmu.edu/~tom/10701_sp11/lectures.shtml
   3. http://www.cs.cmu.edu/~ninamf/courses/601sp15/lectures.shtml 这两个 CMU 的课程不知道有什么区别.
   4. http://www.cs.cmu.edu/~aarti/Class/10701_Spring14/
   5. Max Planck 智能系统研究所的 ML 课.
   6. https://work.caltech.edu/telecourse Yaser 是林轩田的老师.
   7. metacademy 机器学习和相关数学非常棒的学习资料.
3. 博士级别课程
   
   1. CMU 10-702(Statistical Machine Learning)
   2. CMU 10-715(Advanced Introduction to Machine Learning)
4. MIT 6.S099: Artificial General Intelligence by Lex Fridman
5. https://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-867-machine-learning-fall-2006/syllabus/