如何动态填充数据框的选择子句？给出AnalysisException

Question

我正在使用spark-sql 2.4.1和Java 8。

 val country_df = Seq(
    ("us",2001),
    ("fr",2002),
    ("jp",2002),
    ("in",2001),
    ("fr",2003),
    ("jp",2002),
    ("in",2003)
    ).toDF("country","data_yr")

> val col_df = country_df.select("country").where($"data_yr" === 2001)

    val data_df = Seq(
    ("us_state_1","fr_state_1" ,"in_state_1","jp_state_1"),
    ("us_state_2","fr_state_2" ,"in_state_2","jp_state_1"),
    ("us_state_3","fr_state_3" ,"in_state_3","jp_state_1")
    ).toDF("us","fr","in","jp")

> data_df.select("us","in").show()

如何从给定年份的country_df中动态填充（data_df的）select子句？

即从第一个数据帧，我将获得column的值，这些是我需要从第二个datafame中选择的列。如何才能做到这一点 ？

试过这个

List<String> aa = col_df.select(functions.lower(col("data_item_code"))).map(row -> row.mkString(" ",", "," "), Encoders.STRING()).collectAsList();
 data_df.select(aa.stream().map(s -> new Column(s)).toArray(Column[]::new));

错误：

.AnalysisException: cannot resolve '` un `' given input columns: [abc,.....all columns ...]

那么，这里有什么问题，以及如何解决？

Answer 1

您可以尝试以下代码。

从第一个数据集中选择列名称。

List<String> columns = country_df.select("country").where($"data_yr" === 2001).as(Encoders.STRING()).collectAsList();

在第二个数据集中的selectexpr中使用列名。

public static Seq<String> convertListToSeq(List<String> inputList) {
        return JavaConverters.asScalaIteratorConverter(inputList.iterator()).asScala().toSeq();
}


//using selectExpr
data_df.selectExpr(convertListToSeq(columns)).show(true);