PySpark--查找具有1个以上distinct值的DataFrame列的有效方法

Question

counts = df.summary("count").collect()[0].asDict()
null_cols = [c for c in counts.keys() if counts[c] == '0']
df2 = df.drop(*null_cols)

我目前拥有以下内容（使用我从上面的代码片段中获得的DF2)：

prox_counts = (df2.agg(*(F.approx_count_distinct(F.col(c)).alias(c)
                         for c in df2.columns
                         )
                       )
                  .collect()[0].asDict()
               )
poss_unarcols = [k for k in prox_counts.keys() if prox_counts[k] < 3]
unar_cols = [c for c in poss_unarcols if df2.select(c).distinct().count() < 2]

基本上，我首先以快速但近似的方式找到可以是一元的列，然后更详细地、更慢地查看“候选”。

我不喜欢它的一点是：a）即使使用近似预选，它仍然相当慢，运行需要一分钟，尽管此时我只有大约70列（大约600万行）；b）我使用approx_count_distinct和神奇的常量3(approx_count_distinct不计数null，因此3而不是2)。由于我不确定approx_count_distinct在内部是如何工作的，所以我有点担心3不是一个特别好的常量，因为该函数可能会估计distinct(non-null)值的数量，比如当它实际上是1时为5，因此可能需要一个更高的常量来保证候选列表oss_unarcols中没有丢失任何东西。

是否有一种更聪明的方法来实现这一点，理想情况下，这样我甚至不必单独删除null列，而是一次性地完成所有操作（尽管这实际上相当快，所以这是一个大问题）？

Answer 1

我建议您看一下下面的函数

pyspark.sql.functions.collect_set(col)

https://spark.apache.org/docs/latest/api/python/pyspark.sql.html？highlight=dataframe

它将返回col中的所有值，并消除乘法元素。然后可以检查结果的长度（是否等于1）。我想知道性能，但我认为它肯定会超过distinct（）。count（）。周一让我们看看：）