如何从数据集中创建所有可能的行组合

Question

假设我有一个数据集：

+----+----+----+-----+----+
||col0|col2|col2|col3|col4|
+----+----+----+-----+----+
|   t0|  10| 100|cat26|30.9|
|   t1|  20| 200|cat13|22.1|
|   t2|  30| 300|cat26|30.9|
|   t3|  40| 400|cat26|30.9|
|   t4|  50| 500|cat15|15.3|
|   t5|  60| 600|cat13|22.1|
+----+----+----+-----+----+

我使用选择一个子数据集，其中（）：

  Dataset<Row> subDf = dF.where("col3 = cat26 ");

屈服：

     +----+----+----+-----+----+
     |col0|col2|col2|col3 |col4|
     +----+----+----+-----+----+
     |  t0|  10| 100|cat26|30.9|
     |  t2|  30| 300|cat26|30.9|
     | t3 |  40| 400|cat26|30.9|
     +----+----+----+-----+----+

我想使用这三行创建不同的组合，为每个组合形成一个数据集。

组合的示例如下：

     +----+----+----+-----+----+
     |col0|col2|col2|col3 |col4|
     +----+----+----+-----+----+
     |  t0|  10| 100|cat26|30.9|
     |  t2|  30| 300|cat26|30.9|
     +----+----+----+-----+----+

另一个是：

 +----+----+----+-----+----+
 |col0|col2|col2|col3 |col4|
 +----+----+----+-----+----+
 |  t2|  30| 300|cat26|30.9|
 |  t3|  40| 400|cat26|30.9|
 +----+----+----+-----+----+

第三种可能的组合如下：

     +----+----+----+-----+----+
     |col0|col2|col2|col3 |col4|
     +----+----+----+-----+----+
     |  t0|  10| 100|cat26|30.9|
     |  t3|  40| 400|cat26|30.9|
     +----+----+----+-----+----+

最后：

     +----+----+----+-----+----+
     |col0|col2|col2|col3 |col4|
     +----+----+----+-----+----+
     |  t0|  10| 100|cat26|30.9|
     |  t2|  30| 300|cat26|30.9|
     | t3 |  40| 400|cat26|30.9|
     +----+----+----+-----+----+

PS：在前面的示例中，每个组合（一个数据集）至少有两行，

如何在JAVA中实现这一点？非常感谢。

Answer 1

首先，最后一个与t0、t2、t3行的组合与使用where方法的简单查询中的输出相同，因此我们需要关注需要找到的其他唯一对：

• {t0，t2}

对于每个组合，我们基本上需要使用where方法再次对给定的数据帧执行查询，因为我们实际上可以指定要返回一个列表，其中包含通过SQL从一列中匹配一个或多个值的所有行，如其中col0==t0或col0==t2。这意味着我们需要在where方法之后隔离并检索col0的行值列表，该方法用于过滤col3中所有不匹配的cat26（Java代码片段基于用户12910640的此答案）。

// Scala
val rowList = input.where("col3 == \"cat26\"")
          .select("col0")
          .rdd
          .map(row => row(0).toString)
          .collect()
          .toList

// Java
List<String> rowList = input.toJavaRDD()
          .where("col3 == \"cat26\"")
          .select("col0")
          .map(new Function<Row, String>() {
              public String call(Row row) {return row.getAs("column_name").toString();}
}).collect();

rowList包含三个元素：t0，t2，t3。这意味着我们只需要以一种不存在重复对（例如{t0，t2}和{t2，t0}）的方式遍历这个列表，并且不存在具有相同元素的对（例如{t0，t0}）。为了消除这两种情况，我们只需为每个第一次迭代使用第二个迭代循环，扫描第一次迭代的当前元素之后的每个元素（通过查看代码，您可以更好地理解它），并在执行对数据帧的查询之前，检查迭代的索引i和j。

// Scala
for(i <- 0 until rowList.size)
{
    for(j <- i until rowList.size)
    {
        if(!rowList(i).equals(rowList(j)))
            input.where("col0 == \"" + rowList(i) + "\" OR col0 == \"" + rowList(j) + "\"").show()
    }
}

// Java
for(int i = 0; i < rowList.size(); i++)
{
    for(int j = i; j < rowList.size(); j++)
    {
        if(!rowList(i).equals(rowList(j)))
            input.where("col0 == \"" + rowList.get(i) + "\" OR col0 == \"" + rowList.get(j) + "\"").show()
    }
}

通过这个循环，我们可以在控制台中看到所需的输出数据帧。

+----+----+----+-----+----+
|col0|col1|col2| col3|col4|
+----+----+----+-----+----+
|  t0|  10| 100|cat26|30.9|
|  t2|  30| 300|cat26|30.9|
+----+----+----+-----+----+

21/04/27 16:15:47 INFO BlockManagerInfo: Removed broadcast_0_piece0 on 192.168.2.5:36343 in memory (size: 4.1 KiB, free: 292.8 MiB)
+----+----+----+-----+----+
|col0|col1|col2| col3|col4|
+----+----+----+-----+----+
|  t0|  10| 100|cat26|30.9|
|  t3|  40| 400|cat26|30.9|
+----+----+----+-----+----+

+----+----+----+-----+----+
|col0|col1|col2| col3|col4|
+----+----+----+-----+----+
|  t2|  30| 300|cat26|30.9|
|  t3|  40| 400|cat26|30.9|
+----+----+----+-----+----+

或者，您可以尝试将这些输出与第一个匹配t0、t2、t3行的输出一起存储在DataFrame列表中，而不仅仅是将它们显示给控制台。