版权声明:本博客内容为学习过程中的一些记录,大部分转载内容已标明转载,部分内容如有因疏忽未注明请与我联系,转载原创内容请注明链接,谢谢! https://blog.csdn.net/xiaodongxiexie/article/details/79152033
工作需要将读入文件时间降低,之前采用的是读取csv
文件,使用的Pandas
,数据条数大概有130余万条,大概要耗时2-3s,速度有点慢,看是否能通过转换为json
数据后用json.load
来代替, 具体对比如下:
可以看到使用pandas.read_csv
耗时不到json.load
的三分之一,看来这条路走不通~