课程来源：林轩田《机器学习技法》
课程地址：https://www.bilibili.com/video/av12469267/?p=1
1. radial basis function其实由两部分组成
1）radial：径向，即只跟x和x'的距离有关
2）basis function：多个基础方程的线性组合
2. RBF与NN：RBF分成两层，第一层求x到中心点们的距离，第二层进行投票
3. RBF主要求解的就是中心点和投票权重
4. RBF和Kernel都是一种相似性的度量，相似性是一种很好的定义特征转换的方法
1）kernel：两个向量转换到z空间，通过内积的方式表示相似性
2）RBF：直接在x空间中的距离来算相似性
5. Full RBF
1）将所有点都视为中心点
2）物理含义是每个点都会对其它点产生影响，每个点都可以投票提出意见
3）偷懒的方法
6. KNN
1）高斯函数衰减很快，往往最近的几个点就掌控全局
2）所以干脆只考虑最近的几个点的意见好了
3）偷懒的方法，连训练都不用；但是测试的时候就要花很多力气了
7. 对Full RBF的训练
1）zn表示xn到每个点的RBF
2）即βzn=y，然后可以转化成下面的等式
3）理论上证明，如果所有xn都不一样，那么zn是可逆的N*N矩阵对称矩阵。那么Zt=Z，（ZtZ）(-1)Zt =Z-1*Z-1*Z=Z-1
8. 优化思路：找到一些代表性的中心点，比如可以用kmeans找
9. Full RBF、kmeans+RBF、KNN