在参加机器学习比赛的时候，有点时候给的 row data 不像kaggle上面那么规整，常常需要做一些特征提取和清洗的工作
在参加某个比赛的时候，我发现了用groupby提取一些统计特征，比手写的for循环快了不知好几百倍
因为之前是学JAVA的，所以钟爱于for循环，但是在参加比赛的时候，我手写了个两重for循环吧，由于数据比较大，有7G的文件，然后需要关联不同的表，查出一些统计特征作为特征分析
举个例题，比如说，有一张班级表（字段是：学号+班级号），有另一张表是金额表（字段是：学号+金额）
现在的任务是找出每个班最穷的人
下面是我敲的实验代码：
import time
from sklearn.utils import shuffle
import numpy as np
import pandas as pd
#有一千个班级，每个班级两千人，共有两百万人
class_num=1000
people_per_class=2000
sample_num=people_per_class*class_num
#构建表格
class_no=list(range(1,class_num+1))*people_per_class
c=shuffle(np.array(class_no)).reshape(sample_num,1)
s=np.array(range(1,sample_num+1)).reshape(sample_num,1)
class_table=np.hstack([s,c])
m=np.random.randint(low=1,high=1000,size=(sample_num,1))
money_table=np.hstack([s,m])
#构建班级表 学号+班级号
ct=pd.DataFrame(data=class_table,columns=['sid','cid'])
#构建金额表 学号+金额
mt=pd.DataFrame(data=money_table,columns=['sid','money'])
ct=shuffle(ct)
mt=shuffle(mt)
print('构建的班级表:\n',ct.head())
print('构建的金额表:\n',mt.head())
#目标：找出每个班级最穷的人
#for循环找出每个班级最穷的人
o_time=time.clock()
poor_arr=[]
class_money_table=pd.merge(ct,mt,left_on='sid',right_on='sid')
for cid in range(1,class_num+1):
temp=class_money_table[class_money_table.cid==cid]
poor_arr.append(temp['money'].min())
print('for循环结果:\n用时',int(time.clock()-o_time),'秒')
print(poor_arr[:20])
#groupBy找出每个班级最穷的人
o_time=time.clock()
class_money_table=pd.merge(ct,mt,left_on='sid',right_on='sid')
poor_arr=class_money_table.groupby(by='cid').min()['money']
print('groupby结果:\n用时',int(time.clock()-o_time),'秒')
print(list(poor_arr.values[:20]))
运行这个代码你就会发现，for循环的结果是15秒，而groupby的结果是4秒
这还是在班级比较少的情况下，如果同样情况，固定两百万条数据不变，把班级数提升到一万个，把每班人数降到200
你会发现你根本就不想等！！
实际在做项目的时候，由于7G的数据比较大，我用for循环读取的时间是四五个小时！
而后来换成了groupby的时间仅仅只有几分钟。这天大的差距！原理的话由于时间关系还没有搞清，应该是groupby是加了索引吧，只是猜想
另外，还有一些第三方库可以用于python加速，如jieba, 附上链接如下：
https://blog.csdn.net/qtlyx/article/details/78586229
只有在经历了四个小时的痛苦漫长等待之后，才会领悟到数据库，数据结构这些基础课程的重要性
可能这就是扎实的基本功的魅力吧