json.load 与 pandas.read_csv 效率对比

版权声明:本博客内容为学习过程中的一些记录,大部分转载内容已标明转载,部分内容如有因疏忽未注明请与我联系,转载原创内容请注明链接,谢谢! https://blog.csdn.net/xiaodongxiexie/article/details/79152033

工作需要将读入文件时间降低,之前采用的是读取csv文件,使用的Pandas,数据条数大概有130余万条,大概要耗时2-3s,速度有点慢,看是否能通过转换为json数据后用json.load 来代替, 具体对比如下:
这里写图片描述

可以看到使用pandas.read_csv 耗时不到json.load 的三分之一,看来这条路走不通~

猜你喜欢

转载自blog.csdn.net/xiaodongxiexie/article/details/79152033