检测和排除熊猫数据帧中的异常值

Question

我有一个熊猫数据框，只有几栏。

现在我知道某些行是基于特定列值的异常值。

举个例子

列Vol包含12xx周围的所有值，其中一个值是4000（异常值）。

现在，我想排除那些像这样有Vol列的行。

所以，本质上我需要在数据框上放置一个过滤器，这样我们就可以选择所有行，其中某一列的值在，比如说，平均值的3个标准偏差之内。

实现这一点的优雅方式是什么？

Answer 1

对于每个dataframe列，您可以通过以下方式获得分位数：

q = df["col"].quantile(0.99)

然后过滤：

df[df["col"] < q]

如果需要删除下限和上限异常值，请将条件与and语句结合使用：

q_low = df["col"].quantile(0.01)
q_hi  = df["col"].quantile(0.99)

df_filtered = df[(df["col"] < q_hi) & (df["col"] > q_low)]

Answer 2

使用布尔索引，就像在numpy.array中一样

df = pd.DataFrame({'Data':np.random.normal(size=200)})
# example dataset of normally distributed data. 

df[np.abs(df.Data-df.Data.mean()) <= (3*df.Data.std())]
# keep only the ones that are within +3 to -3 standard deviations in the column 'Data'.

df[~(np.abs(df.Data-df.Data.mean()) > (3*df.Data.std()))]
# or if you prefer the other way around

对于一个系列，它类似于：

S = pd.Series(np.random.normal(size=200))
S[~((S-S.mean()).abs() > 3*S.std())]

Answer 3

如果您的dataframe中有多个列，并且希望删除至少一列中包含异常值的所有行，那么下面的表达式可以一次性完成此操作。

df = pd.DataFrame(np.random.randn(100, 3))

from scipy import stats
df[(np.abs(stats.zscore(df)) < 3).all(axis=1)]

说明：

• 对于每个列，它首先计算列中每个值相对于列平均值和标准偏差的Z分数

• 为zcore指定一列，例如df[0]，并删除. all（轴=1）。

df[(np.abs(stats.zscore(df[0])) < 3)]