文章目录
- 写在前面
-
- 2.1 机器学习任务攻略
- General Guide（大总结）
写在前面
[视频学习-bilibili] | [课程主页——sample code & slide] | [ML2021学习笔记]
2.1 机器学习任务攻略
机器学习三部曲：1.定义含有参数的f；2.构造含有参数的loss；3.找到最优解θ
General Guide
Model Bias
Optimization Issue
怎么判断是Model Bias 还是 Optimization？（越大的网络loss反而更高是Optimization的问题，注意与过拟合的区别：过拟合是训练集表现好，但是测试集表现差）
先用小模型（甚至不是NN方法）看一下loss，再train 深的模型的loss，如果loss还大，那么是Optimization问题（大的模型loss应该更低）
Overfitting：是train的loss小，test的loss大才是overfitting
解决Overfitting：More training data（可能是最有效的方法，但是不现实），Data augmentation（要根据自己对资料的特性，理解来做Data augmentation，没人会做图像上下颠倒，不然网络会学到奇奇怪怪的东西）
Early stopping
Bias-Complexity Trade-off
并不是选test loss最低的模型
Cross Validation
N-fold Cross Validation
General Guide（大总结）
mismatch（所以要做 数据分析，看看训练和测试资料是否 分布相似）
