文章目录
P1 机器学习介绍
人工智能（目标） 》 机器学习（手段） 》 深度学习（方法）
机器学习就是自动找函式
- 你想找什么函式？
Regression: 输出是一个数值
Binary Classification and Multi-class Classification：输出是一个选项
Generation (生成)
- 怎样告诉机器你想找怎样的函式？
Supervised Learning
Reinforcement Learning
Unsupervised Learning
- 机器怎样找出你想要的函式？
限制函式尋找範圍
函式尋找方法 – Gradient Descent
前沿研究
Explainable AI : 解释原因
Adversarial Attack ：add noise
Network Compression ： 模型压缩
Anomaly Detection ： I don‘t kown
Transfer Learning(Domain Adversarial Learning) ： 迁移学习
Meta Learning ： Learn to learn
Life-long Learning ： 终身学习
P2 Regrssion
机器学习的三个步骤
过拟合：训练集上表现好，测试集上表现差
P3 误差来源
如何判断是bias 还是 variance？
对欠拟合和过拟合如何处理？
- 欠拟合
重新设计模型（考虑更多的feature，设计更复杂的模型）
- 过拟合
模型选择
你不应该这样做：对测试集动手脚
正确的做法：
交叉验证（把训练集分两部分：一部分训练，一部分验证）
P4 Gradient Descent
Review: Gradient Descent
Gradient Descent Tip 1: Tuning your learning rates
什么样的学习率最好？（随着参数的update，loss会下降速率适合）
Adaptive Learning Rates（自适应学习率）
Adagrad
Adagrad 存在的矛盾？（引出最好的更新步伐，）
解释之前的矛盾
Tip 2: Stochastic Gradient Descent（Tip2：随机梯度下降法）
Gradient Descent Tip 3: Feature Scaling（Tip3：特征缩放）
为什么要做特征缩放？
怎样做缩放？
梯度下降的理论基础（泰勒展开式，前提是学习率足够小）
梯度下降的限制（鞍点，局部最小点，近似0的点）
P5 Classification
回归当作线性模型来做可以吗？（不可以）
引入概率模型（概率没学好这一部分没听懂，总之化简后还是y = wx + b的形式，可不可以直接找w和b？）
P6 Logistic Regression（逻辑回归）
Step1 逻辑回归的函数集
对比线性回归（Linear Regression）
Step2 定义损失函数
cross entropy（交叉熵）
Step3 寻找最好的函数
损失函数：为什么不学线性回归用平方误差？
判别模型（Discriminative）v.s. 生成模型（Generative）
多类别分类
SofeMax
逻辑回归的限制（一条线，解决办法：转化平面）
解决办法：特征转换
让机器自动来做特征转化（级联逻辑回归模型），顺便引出神经网络
