熊猫：是否可以使用任意长的布尔条件过滤数据帧？

Question

如果您确切地知道如何过滤数据帧，那么解决方案很简单：

df[（df.A==1）

但是，如果您接受用户输入，并且事先不知道用户想要使用多少标准，该怎么办？例如，用户想要一个过滤后的数据帧，其中列[A，B，C]==1。有没有可能做这样的事情：

def filterIt(*args, value):
    return df[(df.*args == value)]

因此，如果用户调用filterIt（A，B，C，value=1），它将返回：

df[(df.A == 1) & (df.B == 1) & (df.C == 1)]




Answer 1

谢谢你们的帮助。在发现df.query（）后，我想出了类似于马吕斯的东西：

def makeQuery(cols, equivalence=True, *args):
operator = ' == ' if equivalence else ' != '
query = ''
for arg in args:
    for col in cols:
        query = query + "({}{}{})".format(col, operator, arg) + ' & '

return query[:-3]


query = makeQuery([A, B, C], False, 1, 2)

查询的内容是一个字符串：

(A != 1) & (B != 1) & (C != 1) & (A != 2) & (B != 2) & (C != 2) 

可以传递给df.query（query）的

Answer 2

这里有另一种方法。它更干净，性能更好，并且具有列可以是空的优点（在这种情况下，返回整个数据帧）。

def filter(df, value, *columns):
    return df.loc[df.loc[:, columns].eq(value).all(axis=1)]

解释

1. values=df.loc[：，columns]只选择我们感兴趣的列。
2. masks=values.eq（value）给出一个布尔数据框，表示与目标值相等。
3. mask=masks.all（axis=1）跨列应用AND（返回索引掩码）。请注意，对于OR，您可以使用掩码.any（axis=1）。
4. 返回df.loc[mask]将索引掩码应用于数据帧

演示

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(0, 2, (100, 3)), columns=list('ABC'))

# both columns
assert np.all(filter(df, 1, 'A', 'B') == df[(df.A == 1) & (df.B == 1)])

# no columns
assert np.all(filter(df, 1) == df)

# different values per column
assert np.all(filter(df, [1, 0], 'A', 'B') == df[(df.A == 1) & (df.B == 0)])

备选方案

对于少量列（

from operator import and_

def filter(df, value, *columns):
    return df.loc[reduce(and_, (df[column] == value for column in columns))]

按键检索Series对象（df[列]）比围绕列（df.loc[：，列]）的子集构建DataFrame对象要快得多。

In [4]: %timeit df['A'] == 1
100 loops, best of 3: 17.3 ms per loop

In [5]: %timeit df.loc[:, ['A']] == 1
10 loops, best of 3: 48.6 ms per loop

然而，当处理更多的列时，这种加速变得可以忽略不计。瓶颈成为ANDIN掩码在一起，其中减少（and_，...）远远慢于熊猫内置的all（轴=1）。

Answer 3

我认为最优雅的方法是使用df.query（），在这里您可以建立一个包含所有条件的字符串，例如：

import pandas as pd
import numpy as np

cols = {}
for col in ('A', 'B', 'C', 'D', 'E'):
    cols[col] = np.random.randint(1, 5, 20)
df = pd.DataFrame(cols)

def filter_df(df, filter_cols, value):
    conditions = []
    for col in filter_cols:
        conditions.append('{c} == {v}'.format(c=col, v=value))
    query_expr = ' and '.join(conditions)
    print('querying with: {q}'.format(q=query_expr))
    return df.query(query_expr)

输出示例（由于随机生成的数据，结果可能不同）：

filter_df(df, ['A', 'B'], 1)
querying with: A == 1 and B == 1
    A  B  C  D  E
6   1  1  1  2  1
11  1  1  2  3  4