解决to_csv存储效率低的一个方案

总所周知,pandas在分析领域是一个很强大的包,然而,在使用to_csv的时候,随着数据量的增大,存储效率成线性下降,这个时候我们可以选择pickle来进行替代,(当然,数据量不大的时候,to_csv还是很好用的)
关于pickle的详细使用可以参考网址:
http://www.cnblogs.com/lincappu/p/8296078.html

附上代码:


# 对数据(对象)进行存储
import pickle
# 注意:python中的write函数默认使用的是二进制进行写,所以
# 这里的mode需要时 wb,使用二进制写文件的效率要高
file1 = open('D:/nihao2.pkl','wb')
pickle.dump(df,file1)
file1.close()

# In[]:
# 对数据(对象)进行读取
file1 = open('D:/nihao2.pkl','rb')
data = pickle.load(file1)

file1.close()
发布了19 篇原创文章 · 获赞 11 · 访问量 3万+

猜你喜欢

转载自blog.csdn.net/qwertyuiop5rghar/article/details/86917619