熊猫：索引数据帧时出现多个条件-意外行为

Question

我过滤的数据框中的行的值在两个列。

出于某种原因，OR运算符的行为与我期望的和运算符的行为相同，反之亦然。

我的测试代码：

import pandas as pd

df = pd.DataFrame({'a': range(5), 'b': range(5) })

# let's insert some -1 values
df['a'][1] = -1
df['b'][1] = -1
df['a'][3] = -1
df['b'][4] = -1

df1 = df[(df.a != -1) & (df.b != -1)]
df2 = df[(df.a != -1) | (df.b != -1)]

print pd.concat([df, df1, df2], axis=1,
                keys = [ 'original df', 'using AND (&)', 'using OR (|)',])

结果是：

      original df      using AND (&)      using OR (|)    
             a  b              a   b             a   b
0            0  0              0   0             0   0
1           -1 -1            NaN NaN           NaN NaN
2            2  2              2   2             2   2
3           -1  3            NaN NaN            -1   3
4            4 -1            NaN NaN             4  -1

[5 rows x 6 columns]

如您所见，和运算符会删除至少一个值等于-1的每一行。另一方面，或运算符要求两个值都等于-1，才能删除它们。我预期的结果恰恰相反。有人能解释一下这种行为吗？

我用的是熊猫0.13.1。

Answer 1

这里有一点数学逻辑理论：

非a非b与非（a或b）相同，所以：

"a NOT-1 AND b NOT-1"相当于"NOT-（a is-1 or b is-1）"，它与"（a is-1 or b is-1）"相反（补语）。

因此，如果您想要完全相反的结果，df1和df2应如下所示：

df1 = df[(df.a != -1) & (df.b != -1)]
df2 = df[(df.a == -1) | (df.b == -1)]

Answer 2

您还可以使用query（），即：

df_filtered = df.query('a == 4 & b != 2')

Answer 3

如您所见，AND运算符会删除至少一个值等于-1的每一行。另一方面，OR运算符要求两个值都等于-1才能删除它们。

这是正确的。记住，你写的条件是你想保留什么，而不是你想放弃什么。对于df1：

df1 = df[(df.a != -1) & (df.b != -1)]

您说的是保留df. a不是-1和df. b不是-1的行，这与删除至少有一个值为-1的行相同。

对于df2：

df2 = df[(df.a != -1) | (df.b != -1)]

您的意思是“保留df.a或df.b不是-1的行”，这与删除两个值都是-1的行相同。

注：像df['a'][1]=-1这样的链式访问会让你陷入麻烦。最好养成使用的习惯。loc和。iloc。