【转载】pandas中的循环

原始文章链接： https://towardsdatascience.com/how-to-make-your-pandas-loop-71-803-times-faster-805030df4f06

前言

如果你使用Python和Pandas进行数据分析，循环是不可避免要使用的。然而，即使对于较小的DataFrame来说，使用标准循环也是非常耗时的，对于较大的DataFrame来说，你懂的。今天，公众号为大家分享一个关于Pandas提速的小攻略，助你一臂之力！

标准循环

Dataframe是Pandas对象，具有行和列。如果使用循环，你将遍历整个对象。Python不能利用任何内置函数，而且速度非常慢。我们创建了一个包含65列和1140行的Dataframe。它包含了2016-2019赛季的足球比赛结果。我们希望创建一个新列，用于标注某个特定球队是否打了平局。

def soc_loop(leaguedf,TEAM,):
    leaguedf['Draws'] = 99999
    for row in range(0, len(leaguedf)):
        if ((leaguedf['HomeTeam'].iloc[row] == TEAM) & (leaguedf['FTR'].iloc[row] == 'D')) | \
            ((leaguedf['AwayTeam'].iloc[row] == TEAM) & (leaguedf['FTR'].iloc[row] == 'D')):
            leaguedf['Draws'].iloc[row] = 'Draw'
        elif ((leaguedf['HomeTeam'].iloc[row] == TEAM) & (leaguedf['FTR'].iloc[row] != 'D')) | \
            ((leaguedf['AwayTeam'].iloc[row] == TEAM) & (leaguedf['FTR'].iloc[row] != 'D')):
            leaguedf['Draws'].iloc[row] = 'No_Draw'
        else:
            leaguedf['Draws'].iloc[row] = 'No_Game'

正如你看到的，这个循环非常慢，花了20.7秒。让我们看看如何才能更有效率。

`iterrows()`：快321倍

在第一个例子中，我们循环遍历了整个DataFrame。Iterrows()为每一行返回一个 Series，因此它以索引对的形式遍历DataFrame，以Series的形式遍历目标列。这使得它比标准循环更快：

def soc_iter(TEAM,home,away,ftr):
    #team, row['HomeTeam'], row['AwayTeam'], row['FTR']
    if [((home == TEAM) & (ftr == 'D')) | ((away == TEAM) & (ftr == 'D'))]:
        result = 'Draw'
    elif [((home == TEAM) & (ftr != 'D')) | ((away == TEAM) & (ftr != 'D'))]:
        result = 'No_Draw'
    else:
        result = 'No_Game'
    return result

该代码运行时间为87毫秒，比标准循环快321倍。

但是，我们建议不要使用它，因为有更快的选择，而且iterrows()不能保留行之间的 dtype。这意味着，如果你在dataframe dtypes上使用iterrows() ，它会被更改，这可能会导致很多问题。如果一定要保留dtypes，也可以使用itertuple()。这里我们不详细讨论，你可以在这里找到官方文件：

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.itertuples.html?source=post_page-----805030df4f06----------------------

`Apply()`：快811倍

apply本身并不快，但与DataFrame结合使用时，它具有很大的优势。这取决于apply表达式的内容。如果它可以在Cython中执行，那么apply要快得多。

我们可以在Lambda函数中使用apply。所要做的就是指定轴，使用axis=1，因为我们希望执行按列操作：

这段代码甚至比以前的方法更快，时间为27毫秒。

`Pandas Vectorization`：快9280倍

我们利用向量化的优势来创建真正高效的代码。关键是要避免案例1中那样的循环代码：

我们再次使用了开始时构建的函数。我们所要做的就是改变输入。我们直接将Pandas Series传递给我们的功能，这使我们获得了巨大的速度提升。

`Numpy Vectorization`：快71803倍

在前面的示例中，我们将Pandas Series传递给函数。通过adding.values，我们得到一个Numpy数组：

Numpy数组是如此之快，因为我们引用了局部性的好处：

访问局部性（locality of reference）

在计算机科学中，访问局部性，也称为局部性原理，是取决于存储器访问模式频繁访问相同值或相关存储位置的现象的术语。访问局部性有两种基本类型——时间和空间局部性。时间局部性是指在相对较小的持续时间内对特定数据和/或资源的重用。空间局部性是指在相对靠近的存储位置内使用数据元素。当数据元素被线性地排列和访问时，例如遍历一维数组中的元素，发生顺序局部性，即空间局部性的特殊情况。

局部性只是计算机系统中发生的一种可预测的行为。展示强访问局部性的系统是通过使用诸如在处理器核心的流水线级处的高速缓存，用于存储器的预取和高级分支预测器的技术的性能优化的良好候选者。

代码运行了0.305毫秒，比开始时使用的标准循环快了71803倍！

总结

我们比较了五种不同的方法，并根据一些计算将一个新列添加到我们的DataFrame中。我们注意到了速度方面的巨大差异：

请记住：

如果确定需要使用循环，则应始终选择apply方法。
否则，vectorization总是更好的，因为它更快！