Pandas数据帧中异常点的检测与排除

Question

我有一个很少列的熊猫数据帧。

现在我知道某些行是基于某个列值的离群值。

例如：

列“vol”具有12xx附近的所有值，其中一个值为4000（离群值）。

现在，我想排除那些具有vol列的行，如下所示。

所以，本质上我需要在数据帧上放一个过滤器，这样我们就可以选择某一列的值在均值的3个标准差范围内的所有行。

什么是一个优雅的方法来实现这一点？

Answer 1

如果您的dataframe中有多个列，并且希望删除至少一列中有离群值的所有行，下面的表达式将一次执行此操作。

df = pd.DataFrame(np.random.randn(100, 3))

from scipy import stats
df[(np.abs(stats.zscore(df)) < 3).all(axis=1)]

描述：

• 对于每一列，它首先计算列中每个值相对于列均值和标准差的Z分数。
• 只有在方向低于阈值时，它才会取绝对Z分数，因为方向不重要。
• all(Axis=1)确保每一行的所有列都满足约束。
• 最后，此条件的结果用于索引数据帧。

• 指定zscore的列，例如df[0]并删除.all(axis=1)。

df[(np.abs(stats.zscore(df[0])) < 3)]