如何加速pandas的DataFrame

python的dataFrame确实好用,但是明显只能单核运算

使用pandas,当您运行以下行时:

# Standard apply

df.apply(func)

得到这个CPU使用率:

即使计算机有多个CPU,也只有一个完全专用于计算。

最近受群友推荐开始找到这个加速器,真的牛叉!!!可以真正体验到用python也可单机核力全开,八核起飞的快感!!

【Pandaral·lel 】的想法是将pandas计算分布在计算机上所有可用的CPU上,以显着提高速度。

安装:

$ pip install pandarallel [--user]

导入和初始化:

导入:

from pandarallel import pandarallel

Initialization

pandarallel.initialize()

用法十分简单:

用法:

使用带有pandas DataFrame的简单用例df和要应用的函数func,只需替换经典apply的parallel_apply。

# Standard pandas apply

df.apply(func)

# Parallel apply

df.parallel_apply(func)

 

 

猜你喜欢

转载自www.cnblogs.com/wqbin/p/12589635.html