当内存不足遇上超大的数据

1.1https://www.kaggle.com/c/talkingdata-adtracking-fraud-detection/discussion/56105

1.2https://blog.csdn.net/xingkong_dahai/article/details/77140918

分块读取完后,对int,float和object进行修改类型,可以节省很多内存,然后再保存成pickle文件,下次再读该文件的时候,速度也可以快很多,而且内存也小。

还有hdf5哦

猜你喜欢

转载自blog.csdn.net/qq_34554003/article/details/80338613
今日推荐