使用同一数据框中另一列中的某些条件将具有特定值的行保留在一列中

Question

我有以下数据帧：

我想保留前两行（其中col2值=A），其中A被标识，因为col3在第1行中具有“true”。换句话说，对于设备1，我希望将col2在col3中至少有1个值的所有行保留为“true”。我希望过滤后得到以下结果：

Answer 1

您可以使用窗口函数来完成：按col1和col2分区，按col3降序排序。在窗口上使用first函数。

from pyspark.sql import functions as F, Window as W
df = spark.createDataFrame(
    [('Device1', 'A', True),
     ('Device1', 'A', False),
     ('Device1', 'C', None),
     ('Device1', 'B', False)],
    ['col1', 'col2', 'col3'])

w = W.partitionBy('col1', 'col2').orderBy(F.desc('col3'))
df = df.withColumn('keep', F.first('col3').over(w))
df = df.filter('keep').drop('keep')

df.show()
# +-------+----+-----+
# |   col1|col2| col3|
# +-------+----+-----+
# |Device1|   A| true|
# |Device1|   A|false|
# +-------+----+-----+