python的dataFrame确实好用,但是明显只能单核运算
使用pandas,当您运行以下行时:
# Standard apply
df.apply(func)
得到这个CPU使用率:
即使计算机有多个CPU,也只有一个完全专用于计算。
最近受群友推荐开始找到这个加速器,真的牛叉!!!可以真正体验到用python也可单机核力全开,八核起飞的快感!!
【Pandaral·lel 】的想法是将pandas计算分布在计算机上所有可用的CPU上,以显着提高速度。
安装:
$ pip install pandarallel [--user]
导入和初始化:
导入:
from pandarallel import pandarallel
Initialization
pandarallel.initialize()
用法十分简单:
用法:
使用带有pandas DataFrame的简单用例df和要应用的函数func,只需替换经典apply的parallel_apply。
# Standard pandas apply
df.apply(func)
# Parallel apply
df.parallel_apply(func)