数学建模——数据分析方法

一、常见数据分析软件

Excel（office三件套之一）、R语言、Eviews、origin(图形分析工具)、SPSS（统计分析与数据挖掘）
MATLAB（墙裂推荐）、python（墙裂推荐）、SAS

二、统计性描述

1. 均值(mean)：$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
2. 方差(var)、均方差(std): $$S^2=\frac{1}{n-1}\sum _{i=1}^n{\left(x_i-\bar{x}\right)}^2,S=\sqrt{\frac{1}{n-1}\sum _{i=1}^n{\left(x_i-\bar{x}\right)}^2}$$
   (与传统的方差不同，这里除以的是n-1)
3. 偏度（df.skewness）:标准化三阶中心矩阵，反映对称性，当其值大于0时，此时数据位于均值右侧的比位于左侧的多
   $$s_k=\frac{\frac{1}{n}{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^3}{s^3}$$
4. 峰度（df.kurt）：标准化四阶中心矩阵，当其值大于3时，表示分布有沉重的尾巴，说明样本有较多远离均值的数据$$G_2=\frac{\frac{1}{n}{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^4}{{\left(\frac{1}{n}{\sum }_{i=1}^n{\left(x_1-\bar{x}\right)}^2\right)}^2}-3$$
5. 分位数（df.quantile( p )）：若概率0<p<1,随机变量X或他的概率分布的分位数Za是指满足条件p(X < Za)=α的实数

三、数据的预处理

1. 缺漏数据的处理
   • 删掉这条数据：df.dropna(axis=0,how="any",inplace=False)
   • 用均值填充:

   	means = df[列].mean()
   	df[列].fillna(means)
   

   • 用中位数来填补

   	medians = df[列].median()
   	df[列].fillna(medians)
   

   • 用众数来填补

   	modes = df[列].mode()
   	df[列].fillna(modes)
   

2. 数据的标准化：
   最大最小值标准化和均值标准化
   $$x_i^{\prime }=\frac{x_i-x_{\min }}{x_{\max }-x_{\min }}{x}_i^{\prime }=\frac{x_i-x}{s}$$

   	# 最大最小值标准化
   	def max_min_std(data):
   	    m_max = data.max(axis=0)
   	    m_min = data.min(axis=0)
   	    data = (data - m_min)/(m_max-m_min)
   	    return data
   	
   	#均值标准化
   	def mean_std(data):
   	    m_mean = data.mean(axis=0)
   	    m_std = data.std(axis=0)
   	    data = (data - m_mean)/m_std
   	    return data	
   

四、相关性分析

1. 如何判断各因素之间是否相关？
   1. pearson相关系数(df.corr(method = ))：
   $$r=\frac{{\sum }_{i=1}^n\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)}{\sqrt{{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2{\sum }_{i=1}^n{\left(y_i-\bar{y}\right)}^2}}$$
   2. spearman,kendall相关系数
2. 相关程度有多大？
   1. 当R>0时，正相关，R<0时，负相关
   2. R的绝对值越接近1，表示两个变量越接近线性关系
   3. R的绝对值越接近0，表示两个变量越没有相关系
   4. R的绝对值大于0.8时，视为高度相关
   5. R的绝对值介于0.5~0.8时，视为中度相关
   6. R的绝对值小于0.3时，视为不相关

五、回归分析

1. 多元线性回归模型：
   $$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\dots +{\beta }_p{x}_p+\epsilon$$
   其中的${\beta }_i$是回归系数

from sklearn.linear_model import LinearRegression
linear = LinearRegression()
model = linear.fix(x,y)
print("截距：")
print(linear.intercept_)
print("回归系数：")
print(linear.coef_)