一、降维技术
数据往往拥有大规模的特征。这会导致利用学习算法进行分析时，造成很大的困扰。因此，数据降维就显得尤为重要。
其优点：
- 使得数据集更易使用；
- 降低很多算法的计算开销；
- 去除噪声；
- 使得结果易懂。
常见的降维技术：
- 主成分分析(Principal Component Analysis, PCA )。在PCA中，数据从原来的坐标系转换到了新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差 的方向。该过程一直重复，重复次数为原始数据中特征的数目。我们会发现，大部分方差都包含在最前面的几个新坐标轴中。因此，我们可以忽略余下的坐标轴，即对数据进行了降维处理。
- 因子分析(Factor Analysis)。在因子分析中，我们假设在观察数据的生成中有一些观察不到的隐变量 (latent variable)。假设观察数据是这些隐变量和某些噪声的线性组合。那么隐变量的数据可能比观察数据的数目少，也就是说通过找到隐变量就可以实现数据的降维。因子分析已经应用于社会科学、金融和其他领域中了。
- 独立成分分析(Independent Component Analysis，ICA )。ICA假设数据是从N个数据源生成的，这一点和因子分析有些类似。 假设数据为多个数据源的混合观察结果，这些数据源之间在统计上是相互独立的，而在PCA中只假设数据是不相关的。同因子分析一样， 如果数据源的数目少于观察数据的数目，则可以实现降维过程。
二、主成分分析（PCA）
2.1 基本原理
特征值分析
特征值分析是线性代数中的一个领域，它能够通过数据的一般格式来揭示数据的“ 真实”结构，即我们常说的特征向量和特征值。在等式
2.2 代码实现
# -*- coding: utf-8 -*-
"""
Created on Fri May 18 09:19:29 2018
@author: lizihua
"""
from numpy import *
def loadDataSet(fileName, delim = '\t'):
fr = open(fileName)
stringArr = [line.strip().split(delim) for line in fr.readlines()]
datArr = [list(map(float,line)) for line in stringArr]
return mat(datArr)
def pca(dataMat, topNfeat = 9999999):
meanVals = mean(dataMat,axis = 0) #求列平均值，若dataMat是m*n，则，meanVals是1*n
meanRemoved = dataMat - meanVals
#每列代表一个方差，求协方差矩阵
covMat = cov(meanRemoved, rowvar = 0) #shape为n*n
#linalg.eig()求特征向量和特征值
eigVals,eigVects = linalg.eig(mat(covMat))
#shape(eigVals):n*1 shape(eigVects):n*n
#将特征值eigVals从小到大排列，并将其排序索引返回给eigValInd
eigValInd = argsort(eigVals)
#选取topNfeat个最大的特征值
eigValInd = eigValInd[:-(topNfeat+1):-1]
#将特征向量按照特征值从小到大排列（按列排）,选取前topNfeat个最大特征值对应的特征向量
redEigVects = eigVects[:,eigValInd] #shape为n*topNfeat
#将数据转换到新空间(原始数据*topNfeat个特征向量)
#lowDDataMat是映射到低维空间的数据：shape为 m*topNfeat
lowDDataMat = meanRemoved *redEigVects
#利用降维矩阵，重构原始数据reconMat，
#redEigVects是标准正交矩阵，所以redEigVects*redEigVectS.T是n*n的1矩阵
#reconMat = (lowDDataMat *redEigVects.T) +meanVals
#reconMat = (((dataMat - meanVals) *redEigVects )*redEigVects.T) +meanVals=dataMat
return lowDDataMat,reconMat
if __name__ == "__main__":
dataMat = loadDataSet('testSet.txt')
lowDMat, reconMat = pca(dataMat, 1)
print("lowDMat的形状：",shape(lowDMat))
print("reconMat的形状：",shape(reconMat))
import matplotlib
import matplotlib.pyplot as plt
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(dataMat[:,0].flatten().A[0],dataMat[:,1].flatten().A[0],marker = '^',s=90)
ax.scatter(reconMat[:,0].flatten().A[0],reconMat[:,1].flatten().A[0],marker = 'o',s=50,c='red')
2.3 结果显示
三、小结
降维技术使得数据变得更易使用， 并且它们往往能够去除数据中的噪声， 使得其他机器学习任务更加精确。降维往往作为预处理步骤， 在数据应用到其他算法之前清洗数据。有很多技术可以用于数据降维，在这些技术中，独立成分分析、因子分析和主 成分分析比较流行，其中又以主成分分析应用最广泛。
PCA可以从数据中识别其主要特征，它是通过沿着数据最大方差方向旋转坐标轴来实现的。选择方差最大的方向作为第一条坐标轴，后续坐标轴则与前面的坐标轴正交。协方差矩阵上的特征值分析可以用一系列的正交坐标轴来获取。