首先我们从以下几个维度来比较不同数据处理包对数据进行处理的优劣。
- 是否拥有丰富的数据处理函数
- 是否读取数据够快
- 是否需要额外设备（例如GPU）的支持
但无论这些工具包处理数据的时间多快，在碰到例如10G以上的数据时，都还是会耗费一些时间的，快的可能几十秒，慢的可能几十分钟，然后再进行一些特征抽取等等，快的话也得几十分钟，而此时，为了节省时间消耗，我们就需要将这些中间结果线存储到磁盘上面，而不同格式的存储，带来的差别是巨大的，比如：
- 存储一个大的文件，存成csv格式需要10G，但是存成其它格式可能就只需要2G；
- 存成csv文件读取需要20分钟，存成其它格式读取只需要10秒。
存储格式的选择也会节省海量的时间，那么究竟选用何种存储方式呢？本文我们就对比下面几大流行的存储格式。
csv
csv格式是使用最多的一个存储格式，但是其存储和读取的速度会略慢。
dtypes = {
"row_id": "int64",
"timestamp": "int64",
"user_id": "int32",
"content_id": "int16",
"content_type_id": "boolean",
"task_container_id": "int16",
"user_answer": "int8",
"answered_correctly": "int8",
"prior_question_elapsed_time": "float32",
"prior_question_had_explanation": "boolean"
}
data = pd.read_csv("../input/riiid-test-answer-prediction/train.csv", dtype=dtypes)
# Train size: (101230332, 10)
# CPU times: user 8min 15s, sys: 11.7 s, total: 8min 27s
# Wall time: 9min 24s
feather
feather是一种可移植的文件格式，用于存储Arrow表或数据帧（来自Python或R等语言），它在内部使用Arrow-IPC格式。Feather是在Arrow项目早期创建的，作为Python（pandas）和R的快速、语言无关的数据帧存储的概念证明。
feather可以显著提高了数据集的读取速度
%%time
data = pd.read_feather("../input/riiid-train-data-multiple-formats/riiid_train.feather")
print("Train size:", data.shape)
# Train size: (101230332, 10)
# CPU times: user 3 s, sys: 17.5 s, total: 20.5 s
# Wall time: 19.6 s
hdf5
hdf5设计用于快速I/O处理和存储，它是一个高性能的数据管理套件，可以用于存储、管理和处理大型复杂数据。
%%time
data = pd.read_hdf("../input/riiid-train-data-multiple-formats/riiid_train.h5", "riiid_train")
print("Train size:", data.shape)
# Train size: (101230332, 10)
# CPU times: user 10.5 s, sys: 10.5 s, total: 20.9 s
# Wall time: 53.8 s
jay
Datatable使用.jay（二进制）格式，这使得读取数据集的速度非常快。
%%time
data = dt.fread("../input/riiid-train-data-multiple-formats/riiid_train.jay")
print("Train size:", data.shape)
# Train size: (101230332, 10)
# CPU times: user 4.66 ms, sys: 2.77 ms, total: 7.43 ms
# Wall time: 24.5 ms
parquet
在Hadoop生态系统中，parquet被广泛用作表格数据集的主要文件格式，Parquet使Hadoop生态系统中的任何项目都可以使用压缩的、高效的列数据表示的优势。现在parquet与Spark一起广泛使用。这些年来，它变得更容易获得和更有效，也得到了pandas的支持。
%%time
data = pd.read_parquet("../input/riiid-train-data-multiple-formats/riiid_train.parquet")
print("Train size:", data.shape)
# Train size: (101230332, 10)
# CPU times: user 43.4 s, sys: 17.7 s, total: 1min 1s
# Wall time: 47.2 s
pickle
pickle模块实现二进制协议，用于序列化和反序列化Python对象结构。Python对象可以以pickle文件的形式存储，pandas可以直接读取pickle文件。注意，
pickle模块不安全。最好只unpickle你信任的数据。
%%time
data = pd.read_pickle("../input/riiid-train-data-multiple-formats/riiid_train.pkl.gzip")
print("Train size:", data.shape)
# Train size: (101230332, 10)
# CPU times: user 5.75 s, sys: 8.7 s, total: 14.5 s
# Wall time: 42.3 s
小 结
- csv的文件存储，在读取的时候是最为消耗时间的；如果数据大的话不建议存储为csv形式；
- jay文件是读取最快的，相较于其他的快了几百倍，比csv则快了千万倍；
- feather，hdf5，parquet和pickle也都很快，比csv文件的读取快10倍不止。
参考文献
- Tutorial on reading large datasets
- https://docs.python.org/3/library/pickle.html
- https://parquet.apache.org/documentation/latest/
- https://www.hdfgroup.org/solutions/hdf5