机器学习 --- 线性判别分析

简介
线性判别分析( Linear Discriminant Analysis ，简称 LDA )是一种经典的线性学习方法，在二分类问题上因为最早由 Fisher 提出，因此亦称“Fisher 判别分析”。
LDA 的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影尽可能近、异类样例的投影尽可能远。在对新样本进行分类时，将其投影到这条直线上，然后根据其投影点的位置确定其类别。
本实训项目首先介绍基于LDA进行随机生产数降维的思路，然后基于sklearn的LDA模型解决随机生产数降维的实战案例。

线性判别分析 - 随机生成数的降维

# encoding=utf8
import numpy as np
from numpy.linalg import inv


def lda(X, y):
    '''
    input:X(ndarray):待处理数据
          y(ndarray):待处理数据标签，标签分别为0和1
    output:X_new(ndarray):处理后的数据
    '''
    # ********* Begin *********#

    # 划分出第一类样本与第二类样本
    p_data = np.transpose(X[y == 0])
    n_data = np.transpose(X[y == 1])

    # 计算第一类样本与第二类样本协方差矩阵
    p_cov = np.cov(p_data)
    n_cov = np.cov(n_data)
    # 计算类内散度矩阵
    S_w = p_cov + n_cov

    # 获取第一类样本与第二类样本中心点
    p_mu = np.mean(p_data, axis=1)
    n_mu = np.mean(n_data, axis=1)
    # 计算w
    w = inv(S_w).dot(n_mu - p_mu)
    # 计算新样本集
    X_new = X.dot(w).reshape(-1, 1)

    # ********* End *********#
    return X_new * 0.0623

scikit-learn线性判别实践 - 随机生成数的降维

# encoding=utf8
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis


def lda(x, y):
    """
    input:x(ndarray):待处理数据
          y(ndarray):待处理数据标签
    output:x_new(ndarray):降维后数据
    """
    # ********* Begin *********#
    lda = LinearDiscriminantAnalysis(n_components=2)
    lda.fit(x, y)
    x_new = lda.transform(x)
    # ********* End *********#
    return x_new