机器学习入门之线性回归算法推导

心血来潮,想将所学到的知识写篇博客,笔者所研究的方向为机器学习,刚学习的时候,走了很多弯路,看的书不少,在推导机器学习一些算法时候遇到了不少困难,查了不少资料,在刚才学的时候,有很多公式推导起来很困难,或者说大多数人都会遇到这样的问题,本博客目的就是解决在机器学习公式推导过程中遇到的问题。 关于机器学习的参考书,周志华的机器学习,李航的统计学习方法,及国外的PRML都是不错的阅读材料。还有Andrew Ng的网上课程。相关链接在本博客最后。 本博客以周志华机器学习为背景,在阅读中,不断抛出疑问,然后在博客中一一解答。

一. 线性模型及其核化

1.1 线性模型

这里写图片描述
这里写图片描述

解答

1.为什么要用均方误差呢?
这里写图片描述
这里写图片描述

2.公式3.10的推导。
这里写图片描述
这里写图片描述

3.当X^TX不是满秩的情况下,w如何确定
这里写图片描述

4.怎么样去核化
这里写图片描述

下面为大家共享出一些资料。

参考资料:

扫描二维码关注公众号,回复: 4534744 查看本文章

[1] 机器学习周志华

[2] 矩阵分析与应用

[3] 统计学习方法

[4] 机器学习导论

https://pan.baidu.com/s/1c0Jo8e 密码:41ib

猜你喜欢

转载自blog.csdn.net/baidu_15238925/article/details/81291154