数据挖掘笔记-数据预处理部分（一）
注：
1.该笔记内容与数据来源于20年泰迪杯A题，以该题为例，此处仅涉及到到其年、日数据的部分预处理工作，工具为python3+jupyter。
2.此处笔记的代码仅含比较通用的部分，即一部分个人认为比较重要的步骤的代码块儿。在实际做该题中需要考虑很多其他的因素与数据形式考量，而这些代码此处未贴出（实际上是个人编程习惯太放飞自我，估计其他人看到难以理解）。
3.由于时间过的较久，且当时自己代码写的十分凌乱，只能找时间慢慢整理，仅供参考，直接运行可能保错。
原题为：基于数据挖掘的上市公司高送转预测
数据预处理-年数据部分
首先将数据读入，并导入必备的库：
######()、%、/三个符号利用excel全删掉
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
import imp
#from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.ensemble import RandomForestRegressor
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SimHei']#这东西好像可以很神奇的避免图表文字乱码
############
f=open(r'Adata/year1.csv',encoding='gbk')
data=pd.read_csv(f)
#data=pd.get_dummies(data)
#data=data.drop('行业分类',inplace=False)
#data= pd.get_dummies(data)
data.info()
设置索引与标记
将读入数据设置索引，此处根据数据的特点，将‘股票编号’与‘年份年末’设计为索引。然后根据题目要求将高送转进行定义：
data = data.set_index([data['股票编号'],data['年份年末']])###设置索引为股票编号
data.loc[data['是否高转送']>0.49,'是否高转送']=1
data.loc[data['是否高转送']<0.49,'是否高转送']=0
由于题目的特殊需求，是利用上一年数据去预测下一年是否高送转，故此处将发生高送转的上一年定义为即将高送转（此处为个人做法）：
##########即将高送转标记
maxnum=max(data['股票编号'])
#print(maxnum)
jishu=np.zeros((maxnum*7,1))#将要高送转
#print(jishu)
def jijiang(data):
for i1 in range(1,maxnum+1):
p_data=data.loc[i1]
for i2 in range(1,8):##确定了单个股票的年份数量
# print(p_data['是否高转送'].iloc[i2-1]==1 and i2>1)
if p_data['是否高转送'].iloc[i2-1]==1 and i2>1:
count=(i1-1)*(7)+i2-2
#print(count)
jishu[count]=1
return jishu
jishu=jijiang(data)
data['即将高送转']=jishu
#print(data.head(15))
异常值与缺失值处理
首先对缺失的数据量进行统计，按照缺失数据的多少对数据进行排序：
df=data
missing_df = df.isnull().sum(axis=0).reset_index()
#赋予新列名
missing_df.columns = ['column_name', 'missing_count']
#将缺失值数量>0的列筛选出来
#missing_df = missing_df.iloc[missing_df['missing_count']>0]
missing_df = missing_df[missing_df['missing_count']>0]
#排序
missing_df = missing_df.sort_values(by='missing_count', ascending=False)
#将缺失值以图形形式展示出来
ind = np.arange(missing_df.shape[0])
width = 0.9
fig, ax = plt.subplots(figsize=(16,8))
rects = ax.barh(ind[1:30], missing_df.missing_count.values[1:30],color='coral')
ax.set_yticks(ind[1:30])
ax.set_yticklabels(missing_df.column_name[1:30].values, rotation='horizontal')
ax.set_xlabel("缺失值数量")
ax.set_title("年数据-缺失量前30的标签的缺失值数量图",fontsize=20)
plt.tick_params(labelsize=14)
fig.savefig('年数据缺失.png')
#fig.imsave('年数据缺失值')
生成示例图如下：
然后，个人做法为，对缺失较多（超过40%）与异常的数据，将该年整行进行删除，缺失较少的数据利用线性回归进行填补：
删除缺失较多的数据：
#######没有数据的年份删除
data=data[~data.固定资产合计.isnull()]
data.info()
#data.to_csv('nu.csv',encoding='gbk')
###########缺失值大于10000的值删除
df=data
missing_df = df.isnull().sum(axis=0).reset_index()
#赋予新列名
missing_df.columns = ['column_name', 'missing_count']
#将缺失值数量>0的列筛选出来
#missing_df = missing_df.iloc[missing_df['missing_count']>0]
missing_df = missing_df[missing_df['missing_count']>12313]
for i in range(0,len(missing_df.values[:,0])):
data.pop(missing_df.values[i,0])
#data.info()
缺失较少的利用线性回归进行填补：
#######找出没有缺失的数据,并找出需要用线性回归填补的数据
data=data[~data.固定资产合计.isnull()]
data.info()
#data.to_csv('nu.csv',encoding='gbk')
df=data
missing_df = df.isnull().sum(axis=0).reset_index()
#赋予新列名
missing_df.columns = ['column_name', 'missing_count']
#将缺失值数量>0的列筛选出来
no_missing = missing_df[missing_df['missing_count']<1]
missing_data = missing_df[missing_df['missing_count']<2000]
missing_data = missing_data[missing_data['missing_count']>1]
####缺失值填补程序,线性回归
from sklearn.linear_model import LinearRegression
def miss_data(data):
for i in range(0,len(missing_data)):
#print(i)
#print('\n')
str1=missing_data['column_name'].iloc[i]
#df.loc[(df.工程物资=='NAN'),'工程物资']=='0'
yinshou_df=data[np.r_[np.array([str1]),np.array(no_missing['column_name'])]]
# print(yinshou_df)
known=yinshou_df[yinshou_df[str1].notnull()].as_matrix()
unknown=yinshou_df[yinshou_df[str1].isnull()].as_matrix()
#print(unknown)
y = known[:, 0]
x = known[:, 1:]
rfr = LinearRegression()
rfr.fit(x, y)
predictedyinshou = rfr.predict(unknown[:,1::])
data.loc[(df[str1].isnull()), str1] = predictedyinshou
return df
get_data=miss_data(data)
股票行为标记
由于股票可能有发生高送转，即将高送转，连续高送转等行为，可以进行标记；可能会有用；我这里考虑到发生高送转的那一年股票各项数值突出，可能误判，也做了标记（具体原因涉及到经济学方面意义了，这里可以忽略）：
##########进行筛选，筛除高送发生的行和避免筛除年份为7的行,将第七年标记为
df=get_data
#datak=get_data
df.loc[(df['是否高转送']==1)&(df['年份年末']==7) ,'是否高转送']=2
#k['是否高转送']=2
df.loc[(df['是否高转送']==1)&(df['即将高送转']==1) ,'是否高转送']=3
df=df[df['是否高转送']!=1]
data=df
归一化
在附件的年数据中，由于不同量纲的数据取值与变换率差异较大，若直接将这些数据直接进行建模会产生极大的误差，故此处先将数据进行标准化处理，此处采用均值方差标准化的方法，使得处理后的数据均值为0，标准差为1，其计算公式如下:
x i ∗ = x i − μ σ , ( i = 1 , 2... , n ) x_i^* = \frac{
{
{x_i} - \mu }}{\sigma },(i = 1,2...,n) xi∗=σxi−μ,(i=1,2...,n)
均值方差标准化能消除数据的数值与度量不同带来的计算误差。
另注，在归一化中，由于年数据各个股票的数据以股票为单位进行排列。此处归一化时也应该按照股票编号对各个股票单独归一化。
代码如下：
#归一化
import numpy as np
shang=2##此处shang与xia分别为需要归一化的数据标签范围，可自行调节
xia=244
a=data['股票编号'].values
a=np.unique(a)
maxnum=len(a)
def guiyihua(data1):
for j in range(1,maxnum+1):
# num = data.index[data['股票编号'] == j].tolist()
pre_data = data1.loc[a[j-1]][np.r_[np.array(data.columns[2:xia].values)]]
df=pre_data
#print(a[j-1])
df_norm = (df - df.mean()) / (df.std())
#print(df_norm)
data1.loc[a[j-1]][np.r_[np.array(data.columns[2:xia].values)]]=df_norm
#print(data1)
return data1
datachuli=data[np.r_[np.array(data.columns[2:xia].values)]]
data_norm=guiyihua(datachuli)
data[np.r_[np.array(data.columns[2:xia].values)]]=data_norm
data=data.fillna(0)
data.to_csv('years1.csv', encoding='gbk')#输出为文件
onehot特征编码
在基础数据中，存在多种文字描述的股票类型描述，利用文本信息提取，可 以获取到”次新股”,”国家队”,”*ST”等关键词。此处需要将这些类别型的变量转化 为二分类可处理的离散变量
import pandas as pd
import numpy as np
nianxian=pd.read_csv('war/basic.csv',encoding='gbk')
nianxian=nianxian.set_index([nianxian['股票编号']])
nianxian_hangye=pd.get_dummies(nianxian['所属行业'])
key=data['股票编号'].values
key1=nianxian_hangye.columns.values
for i in range(0,len(data['股票编号'].values)):
data.loc[key[i]]['分类']=nianxian.loc[key[i]]['所属行业']
onehot_data=pd.get_dummies(data['分类'])
数据预处理-日数据部分
1.这一部分就放个人认为比较重要的几个操作的代码
2.日数据较大，约4个g左右，初学者可以拿这个练练，我也是初学。
导入数据与标记
首先导入数据,并按照年-月-日对数据进行索引标记
import numpy as np
import pandas as pd
from datetime import datetime
from datetime import timedelta
from matplotlib import pyplot as plt
import matplotlib
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SimHei']
#data.isnull().sum(axis=0).reset_index()
####数据导入与编号
data=pd.read_csv('Adata/day.csv',encoding='gbk')
#data=pd.read_csv('test1.csv',encoding='gbk')
periods = pd.PeriodIndex(year=data["年"], month=data["月"], day=data["日"],freq='D')
#periods=pd.PeriodIndex(data['股票编号'])
data = data.set_index([data['股票编号'],periods])####
#df1=data.set_index(data['股票编号'],append=True)
缺失数据处理
首先对缺失较多的进行删除
########去除数据用这个
df=data
missing_df = df.isnull().sum(axis=0).reset_index()
#赋予新列名
missing_df.columns = ['column_name', 'missing_count']
#将缺失值数量>0的列筛选出来
#missing_df = missing_df.iloc[missing_df['missing_count']>0]
missing_df = missing_df[missing_df['missing_count']>2353130]
for i in range(0,len(missing_df.values[:,0])):
data.pop(missing_df.values[i,0])
可以对缺失的数据量多少与分布做一个可视化：
# 缺失数量分布绘图
df=data
missing_df = df.isnull().sum(axis=0).reset_index()
#赋予新列名
missing_df.columns = ['column_name', 'missing_count']
#将缺失值数量>0的列筛选出来
#missing_df = missing_df.iloc[missing_df['missing_count']>0]
missing_df = missing_df[missing_df['missing_count']>0]
#排序
missing_df = missing_df.sort_values(by='missing_count', ascending=False)
#将缺失值以图形形式展示出来
ind = np.arange(missing_df.shape[0])
width = 0.9
fig, ax = plt.subplots(figsize=(16,9))
rects = ax.barh(ind[1:30], missing_df.missing_count.values[1:30], color='coral')
ax.set_yticks(ind[1:30])
ax.set_yticklabels(missing_df.column_name.values[1:30], rotation='horizontal')
ax.set_xlabel("缺失值数量")
ax.set_title("日数据-每个标签的缺失值数量图",fontsize=18)
plt.tick_params(labelsize=12)
#fig.savefig('日数据缺失.png')
#fig.imsave('年数据缺失值')
plt.show()
考虑到原数据较大，用拟合去填补缺失值耗时太久，可以直接给填个0，把缺失值填补了
data.fillna(0)
数据简化与使用方法参考
数据简化
如果考虑到自己电脑吃不消，可以将这约4000个股票，7年，每年200多天的数据，按照季度去取平均，按季度统计，以缩小数据量。当然，这样做肯定会造成部分信息遗漏，也有其它更好的办法去处理：
#data.loc[1].index.quarter.max().plot()
datachuli=data[np.r_[np.array(data.columns[1:60].values)]]
maxnum=max(data['股票编号'])
maxyear=max(data['年'])
df=pd.DataFrame()
for i1 in range(1,maxnum+1):
for i2 in range(1,maxyear+1):
# print(i2)
#datachuli=datachuli.loc[1].loc[data['年']==1]
pre_data=datachuli.loc[i1]
pre_data=pre_data.loc[pre_data['年']==i2]
#pre_data=datachuli.loc[data['年']==i2]
#pre_data=pre_data.loc[i1]
#pre_data.pop('年')
pre_data.pop('月')
pre_data.pop('日')
jilu=pre_data.groupby(pre_data.index.quarter).mean()
jilu=jilu.set_index([[i1,i1,i1,i1],[1,2,3,4]])###1，2，3，4.共四个季度；
df=df.append(jilu)
#print(jilu)
#df.to_csv('result/dayyy.csv',encoding='gbk')##数据导出
季度数据的几个使用方法
数据的形式：
通过经济学意义，如果判断一个公司经营情况，可以通过计算季度增长率去判断，比如求四季度相对一季度的各项指标增长率：
data.fillna(0)
a=data['股票编号'].values
a=np.unique(a)
maxnum=len(a)
def get_jidu(data):
df=pd.DataFrame()
for i1 in range(0,maxnum):
# for i2 in range(1,num_gu+1):
for i3 in range(1,8):
new=(data.loc[a[i1]].loc[i3].loc[4]-data.loc[a[i1]].loc[i3].loc[1])/data.loc[a[i1]].loc[i3].loc[1]
df=df.append(new,ignore_index=True)
return df
df1=get_jidu(data[np.r_[np.array(data.columns[3:48].values)]])
a3=np.array([])
for i2 in range(1,3467):
a=np.arange(1,8)
a3=np.append(a3,a)
a2=np.array([])
for i in range(1,3467):
a1=np.array([i,i,i,i,i,i,i])
a2=np.append(a2,a1)
df1['股票编号']=a2
df1['年']=a3
或者结合高送转经济学定义，考虑到前一年三、四季度的经营数据对其后一年的是否高送转影响最大，将其进行提取：
#num_gu=max(data['股票编号'])
data.fillna(0)
a=data['股票编号'].values
a=np.unique(a)
maxnum=len(a)
def get_jidu(data):
df=pd.DataFrame()
for i1 in range(0,maxnum):
# for i2 in range(1,num_gu+1):
for i3 in range(1,8):
new=(data.loc[a[i1]].loc[i3].loc[3]+data.loc[a[i1]].loc[i3].loc[4])/2
df=df.append(new,ignore_index=True)
return df
df2=get_jidu(data[np.r_[np.array(data.columns[0:48].values)]
a3=np.array([])
for i2 in range(1,3467):
a=np.arange(1,8)
a3=np.append(a3,a)
a2=np.array([])
for i in range(1,3467):
a1=np.array([i,i,i,i,i,i,i])
a2=np.append(a2,a1)
df2['股票编号']=a2
df2['年']=a3])
得到的数据同样最好以股票代码为一个单独的部分，进行归一化处理，这里就不列归一化的代码了，跟上面的一样。
年-日数据的匹配
为了方便后续计算，最好将年-日数据进行结合，按照年份与股票代码对两种数据进行拼接
后记与说明
过了这么久，想抽时间把当时比赛写的代码整理一下，看能不能写成博客，结果没想到当时代码写的如此凌乱，在jupyter里的写的逻辑和运行顺序都有点儿忘了，估计只有当时的自己看的懂，现在看着令人头大。确实编程习惯也很重要啊。
如果有人看到这博客，就当参考参考，直接运行八成会报错，我后序看有没有时间继续整理纠错。