过滤大型数据帧的更快方法是什么？

Question

我想对大约40万行的数据帧进行排序，其中包含4列，用if语句取出大约一半：

    for a in range (0, howmanytimestorunthrough): 
        if ('Primary' not in DataFrameexample[a]):
            #take out row

到目前为止，我一直在测试以下4个中的任何一个：

newdf.append(emptyline,)
nefdf.at[b,'column1'] = DataFrameexample.at[a,'column1']
nefdf.at[b,'column2'] = DataFrameexample.at[a,'column2']
nefdf.at[b,'column3'] = DataFrameexample.at[a,'column3']
nefdf.at[b,'column4'] = DataFrameexample.at[a,'column4']
b = b + 1

或与.loc相同

newdf.append(emptyline,)
nefdf.loc[b,:] = DataFrameexample.loc[a,:]
b = b + 1

或者将if（非in）改变为if（in）并使用：

DataFrameexample = DataFrameexample.drop([k])

或者尝试将emptyline设置为具有值，然后将其附加：

notemptyline = pd.Series(DataFrameexample.loc[a,:].values, index = ['column1', 'column2', ...) 
newdf.append(notemptyline, ignore_index=True)

因此，从我到目前为止设法测试的内容来看，它们似乎在少量行（2000）上都可以正常工作，但是一旦我开始获得更多的行，它们所需的时间就会呈指数级增长。.at 似乎比 .loc 快一点，即使我需要它运行 4 次，但仍然变慢（行的 10 倍，需要超过 10 倍的时间）。.drop 我认为每次都尝试复制数据帧，所以真的不起作用吗？我似乎无法让.append（注意空线）正常工作，它只是一遍又一遍地替换索引0。

我知道必须有一个有效的方法来做到这一点，但我似乎无法做到。需要帮忙吗？

Answer 1

你的速度问题和。loc vs .at vs...(比较……loc和。看一看这个问题)而是来自对数据帧的每一行的显式循环。熊猫是所有关于矢量化您的操作。

您希望基于比较筛选数据帧。您可以将其转换为布尔索引器。

indexer = df!='Primary'

这将为您提供一个带有布尔值的4x n行数据框架。现在，您希望将维度减少到1 x n行，这样，如果行(轴1)中的所有值都为真，则值为真。

indexer = indexer.all(axis=1)

现在我们可以使用. loc只获取被索引的行是True

df = df.loc[indexer]

这将比遍历行快得多。

编辑：

要检查df条目是否包含字符串，您可以替换第一行：

indexer = df.apply(lambda x: x.str.contains('Primary'))

请注意，您通常不想使用应用语句（内部它对自定义函数使用for循环）来迭代很多元素。在这种情况下，我们在列上循环，如果您只有几个列，这很好。