ML_Homework_Porject_2_LDA_KNN

第二次机器学习的作业完成了，写一下总结。（未完待续）
作业要求：实现用线性判别分析（LDA，LinaerDiscriminantAnalysis）的二分类，用KNN比较LDA和PCA在有监督学习下的分类区别。
开题：第一眼看到题目，“用KNN比较LDA和PCA在有监督学习下的分类区别。”这句话，是我自己理解的，因为当时老师是口头布置了一下这个，板书自己没太注意，首先LDA实现二分类没什么问题，就是一正类一负类，而至于之后的用LDA和PCA分别提取特征来进行KNN，也没有多大的编码难度，这次作业的代码算是比较顺利得完成了。
实作过程：码量小，简单（很多操作，例如矩乘，求（伪）逆就调包实现了），画了一下准确度的图（Y：准确度，X：n_component，LDA和PCA同图对比）。
踩坑记录：这么简单的作业我会踩坑？踩哭了，一开始不知道矩阵还有伪逆，直接求LDA的Sw矩阵的逆，一直报错Sw是奇异矩阵（Det=0，无逆），最后询问了zxg同学，才了解到有个伪逆，求完伪逆就顺顺利利得完成了LDA部分。至于KNN部分，就是一个暴力过程，在此并不赘述。
学习记录：第一次作业的sift，反向优化之后询问了老师，得到的回答是32x32的灰度图太简单了，太简单了（……）所以sift适合提取复杂一点的，所以变成了反向优化。