python实现因子分析(FA)

1 因子分析简介

因子分析是主成分分析的推广和发展,是多元统计分析中降维的一种方法。因子分析是研究相关阵或协方差阵的内部依赖关系,是将多个变量综合变为少数几个因子,以再现原始变量与因子之间的相关关系。

相应概念参考:
https://blog.csdn.net/mengjizhiyou/article/details/83241469

因子分析的一般步骤:

1)将原始数据标准化处理

2)是否适合因子分析

因子分析前,首先进行KMO检验和巴特利球体检验:

  • KMO(Kaiser-Meyer-Olkin)

检验统计量是用于比较变量间简单相关系数和偏相关系数的指标。

KMO统计量是取值在0和1之间。当所有变量间的简单相关系数平方和远远大于偏相关系数平方和时:

值接近1.KMO值越接近于1,变量间的相关性越强,适合作因子分析/

值越接近于0,变量间的相关性越弱,不适合作因子分析。

0.9 以上表示非常适合;0.8表示适合;0.7表示一般;0.6表示不太适合;0.5以下表示极不适合。

扫描二维码关注公众号,回复: 16891325 查看本文章
  • Bartlett 球度检

巴特利特球度检验的统计量是根据相关系数矩阵的行列式得到的。

如果该值较大,且其对应的相伴概率值小于用户心中的显著性水平,那么应该拒绝零假设,认为相关系数矩阵不可能是单位阵,即原始变量之间存在相关性,适合于做主成份分析。

相反,如果该统计量比较小,且其相对应的相伴概率大于显著性水平,则不能拒绝零假设,认为相关系数矩阵可能是单位阵,不宜于做因子分析。

3)计算相关矩阵R

4)计算相关矩阵R的特征值和特征向量

5)确定公共因子个数 k

按方差贡献定因子数,>80%。

6)构造初始因子载荷矩阵并解释

7)是否需要因子转换

对初始因子载荷矩阵A进行旋转变换,旋转变换是使初始因子载荷矩阵结构简化,关系明确,使得因子变量更具有可解释性,如果初始因子不相关,可以用方差极大正交旋转,如果初始因子间相关,可以用斜交旋转,经过旋转后得到比较理想的新的因子载荷矩阵R’。

8)计算因子得分

9)计算总得分

以公共因子旋转后的方差贡献率为权重,计算出总得分。计算出来的总得分可以用于排名,进行评价分析。

10)建立模型

将因子得分作为变量建模即可。

2 python 实现

# 参考:https://cloud.tencent.com/developer/article/1642275

import numpy.linalg as nlg #导入nlg函数,linalg=linear+algebra
from math import sqrt
from numpy import eye, asarray, dot, sum, diag #导入eye,asarray,dot,sum,diag 函数
from numpy.linalg import svd #导入奇异值分解函数


"""构建数据集"""
data=pd.DataFrame(np.random.randint(50,100,size=(5, 10)))
data.columns=["特征1","特征2","特征3","特征4","特征5","特征6","特征7","特征8","特征9","特征10"]
data.index=['对象1','对象2','对象3','对象4','对象5']


"""将原始数据标准化处理 """
data=(data-data.mean())/data.std() # 0均值规范化

"""计算相关矩阵"""
C=data.corr() #相关系数矩阵

"""计算相关矩阵及其特征值和特征向量 """
eig_value,eig_vector=nlg.eig(C) #计算特征值和特征向量
eig=pd.DataFrame() #利用变量名和特征值建立一个数据框
eig['names']=data.columns#列名
eig['eig_value']=eig_value#特征值


"""确定公共因子个数k """
for k in range(1,11): #确定公共因子个数
    if eig['eig_value'][:k].sum()/eig['eig_value'].sum()>=0.8: #如果解释度达到80%, 结束循环
        print(k)
        break
        

"""构造初始因子载荷矩阵A"""
col0=list(sqrt(eig_value[0])*eig_vector[:,0]) #因子载荷矩阵第1列
col1=list(sqrt(eig_value[1])*eig_vector[:,1]) #因子载荷矩阵第2列
col2=list(sqrt(eig_value[2])*eig_vector[:,2]) #因子载荷矩阵第3列
A=pd.DataFrame([col0,col1,col2]).T #构造因子载荷矩阵A
A.columns=['factor1','factor2','factor3'] #因子载荷矩阵A的公共因子


"""因子转换"""
h=np.zeros(10) #变量共同度,反映变量对共同因子的依赖程度,越接近1,说明公共因子解释程度越高,因子分析效果越好
D=np.mat(np.eye(10))#特殊因子方差,因子的方差贡献度 ,反映公共因子对变量的贡献,衡量公共因子的相对重要性
A=np.mat(A) #将因子载荷阵A矩阵化

for i in range(10):
    a=A[i,:]*A[i,:].T #行平方和
    h[i]=a[0,0]  #计算变量X共同度,描述全部公共因子F对变量X_i的总方差所做的贡献,及变量X_i方差中能够被全体因子解释的部分
    D[i,i]=1-a[0,0] #因为自变量矩阵已经标准化后的方差为1,即Var(X_i)=第i个共同度h_i + 第i个特殊因子方差

def varimax(Phi, gamma = 1.0, q =10, tol = 1e-6): #定义方差最大旋转函数
    p,k = Phi.shape #给出矩阵Phi的总行数,总列数
    R = eye(k) #给定一个k*k的单位矩阵
    d=0
    for i in range(q):
        d_old = d
        Lambda = dot(Phi, R)#矩阵乘法

        u,s,vh = svd(dot(Phi.T,asarray(Lambda)**3 - (gamma/p) * dot(Lambda, diag(diag(dot(Lambda.T,Lambda)))))) #奇异值分解svd

        R = dot(u,vh)#构造正交矩阵R

        d = sum(s)#奇异值求和

    if d_old!=0 and d/d_old:
        return dot(Phi, R)#返回旋转矩阵Phi*R

rotation_mat=varimax(A)#调用方差最大旋转函数
rotation_mat=pd.DataFrame(rotation_mat)#数据框化


"""计算因子得分"""
data=np.mat(data) #矩阵化处理
factor_score=(data).dot(A) #计算因子得分
factor_score=pd.DataFrame(factor_score)#数据框化
factor_score.columns=['因子A','因子B','因子C'] #对因子变量进行命名
factor_score
#factor_score.to_excel(outputfile)#打印输出因子得分矩阵

可以直接调用包factor_analyzer,详见:

https://cloud.tencent.com/developer/article/1897844?from=article.detail.1642275

参考:

https://cloud.tencent.com/developer/article/1642275
http://www.cdadata.com/7460

猜你喜欢

转载自blog.csdn.net/mengjizhiyou/article/details/127824294