如何有效地仅选择包含给定行子集值变化的列？

Question

对于上下文，我的最终目标是从非常大的数据帧中删除几乎重复的行。以下是一些虚拟数据：

+---+--------+----------+---+-------+-------+---+-------+-------+
|key|unique_1|  unique_2|...|col_125|col_126|...|col_414|col_415|
+---+--------+----------+---+-------+-------+---+-------+-------+
|  1|     123|01-01-2000|...|      1|   true|...|    100|     25|
|  2|     123|01-01-2000|...|      0|  false|...|    100|     25|
|  3|     321|12-12-2012|...|      3|   true|...|     99|      1|
|  4|     321|12-12-2012|...|      3|  false|...|     99|      5|
+---+--------+----------+---+-------+-------+---+-------+-------+

在此数据中，来自unique_1和unique_2的观测值的组合应该是不同的，但它们并非总是如此。当它们重复时，它们对于绝大多数列具有相同的值，但在非常小的其他列集上具有变化。我正在尝试制定一种策略来处理近似重复项，但这很复杂，因为每组近似重复项都有一组不同的列，其中包含变化。

我正在尝试一次查看包含一组近似重复项的变体的列 - 如下所示：

+---+-------+-------+
|key|col_125|col_126|
+---+-------+-------+
|  1|      1|   true|
|  2|     20|  false|
+---+-------+-------+

或者这个:

+---+-------+-------+
|key|col_126|col_415|
+---+-------+-------+
|  3|   true|      1|
|  4|  false|      5|
+---+-------+-------+

我用几种不同的方法成功地得到了这个结果。这是我的第一次尝试：

def findColumnsWithDiffs(df: DataFrame): DataFrame = {

    df.columns.foldLeft(df){(a,b) =>
        a.select(b).distinct.count match {
            case 1 => a.drop(b)
            case _ => a
        }
    }
}

val smallFrame = originalData.filter(($"key" === 1) || ($"key" === 2))
val desiredOutput = findColumnsWithDiffs(smallFrame)

这是我想要的，但速度太慢了。上面的函数运行的速度大约比在smallFrame中显示所有数据的速度慢10倍（我认为性能只会随着数据的大小而变差-尽管我没有彻底测试这个假设）。

我认为使用的折叠而不是的折叠可能会产生一些改进，所以我像这样重写了find委员函数：

def findColumnsWithDiffsV2(df: DataFrame): DataFrame = {

    val colsWithDiffs = df.columns.map(colName => List(colName)).toList.fold(Nil){(a,b) =>
        df.select(col(b(0))).distinct.count match {
            case 1 => a
            case _ => a ++ b
        }
    }

    df.select(colsWithDiffs.map(colName => col(colName)):_*)

}

但表现是一样的。我还尝试将每一列映射到它具有的不同值的数量，并从中工作，但性能还是一样的。现在我没有主意了。我的直觉是，每一列都在进行过滤，这就是为什么过滤速度如此之慢的原因，但我不知道如何验证这一理论和/或改变我正在做的事情，如果我是正确的话。有没有人有提高我工作效率的想法？

我目前使用的是spark 2.1.0 / scala 2.11.8

Answer 1

识别不同值的所有方法都很好，问题在于过滤器的惰性评估。若要提高性能，请在使用< code>findColsWithDiffs之前调用< code>smallFrame.cache。这将把过滤后的数据保存在内存中，这很好，因为一次只有几行。