Apache Spark 2.3.0 - 如何将两个数组合并为一个数组

Question

我试着在谷歌上搜索，但无法找到解决方案。合并两个< code >数组

投入-

[[one, two, three], [four, five, six]]

预期产出-

[ one, two, three, four, five, six]

谁能解释一下如何使用Java在Spark中实现这一点？

Answer 1

由于 Spark 2.4 中引入了新的数组函数，因此您必须转到用户定义函数 （udf）。

Java 中的用户定义函数是具有 apply 方法的 java 对象，可用作数据帧转换中的内置函数。若要创建此类对象，请首先创建一个 UDFx 对象，其中 x 是 udf 的参数数。

然后，您可以从这个UDFx对象创建您的udf，方法是使用方法sparkSession.sqlContext（）。注册（）。udf（）（Spark 2.3之前唯一可用的方法）或通过使用函数udf（用于Spark 2.3及更高版本）创建它，如本答案所述。

最后，您将它与函数调用Udf一起使用或直接使用应用程序。因此，Spark 2.3 及更高版本的完整代码如下：

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.api.java.UDF1;
import org.apache.spark.sql.expressions.UserDefinedFunction;
import org.apache.spark.sql.types.DataTypes;
import scala.collection.Seq;

import java.util.stream.Collectors;

import static org.apache.spark.sql.functions.col;
import static org.apache.spark.sql.functions.udf;
import static scala.collection.JavaConverters.asScalaBuffer;
import static scala.collection.JavaConverters.seqAsJavaList;


public class Flattener {

  public static Dataset<Row> flattenArray(Dataset<Row> input, String columnName) {
    // define what your user-defined function do
    UDF1<Seq<Seq<String>>, Seq<String>> flattenArray = new UDF1<Seq<Seq<String>>, Seq<String>>() {
      @Override
      public Seq<String> call(Seq<Seq<String>> s) {
        return asScalaBuffer(
          seqAsJavaList(s)
            .stream()
            .flatMap(x -> seqAsJavaList(x).stream())
            .collect(Collectors.toList())
        ).toSeq();
      }
    };

    // convert it to user-defined function
    UserDefinedFunction flatten_array = udf(
      flattenArray, 
      DataTypes.createArrayType(DataTypes.StringType) // output type of your UDF
    );

    // apply your user-defined function
    return input.withColumn(columnName, flatten_array.apply(col(columnName)));
  }
}

注意：在java UDF上使用序列时，您需要使用ScalaSeq而不是javaList作为序列输入。要从一个转换为另一个，请查看JavaConvertersscala类方法。

然后，可以在数据帧上调用平展数组方法：

Flattener.flattenArray(dataframe, "name_of_column_you_want_to_flatten");