一、主成分分析(PCA Principal components analysis)
PCA 无监督降维技术
降维的标准是:样本点到这个超平面的距离足够近,或者说样本点在这个超平面上尽可能的分开
二、线性判别分析(Linear Discriminant Analysis LDA)
LDA 监督学习降维技术
投影后类内方差最小,类间方差最大
三、共轭梯度算法
共轭梯度法具有所需的存储量小,收敛快,稳定性高的优点
四、Batch Normalization
深度学习(二十九)Batch Normalization 学习笔记
归一化+变换重构
五、生成模型与判别模型
生成模型有:混合高斯模型,朴素贝叶斯模型,马尔科夫模型,求出P(X,Y)
判别模型有:k近邻,支持向量机,条件随机场,逻辑斯蒂回归,决策树,提升方法,最大熵模型,求出P(Y|X)
文档频率,互信息方法,信息增益法,卡方检验法,加权对数似然,加权频率和可能性
基于核的机器学习算法有:LDA(linear discriminate analysis),SVM(support vector machine),RBF(radial basis function)