添加包含按行值排序的列名数组的新列

Question

给定一个包含几列的dataFrame，我试图创建一个新列，其中包含根据这些列的行值按递减顺序排序的这些列名称的数组。

| a | b | c | newcol|
|---|---|---|-------|
| 1 | 4 | 3 |[b,c,a]|
| 4 | 1 | 3 |[a,c,b]|
---------------------

列的名称存储在var名称中：数组[字符串]

我应该采取什么方法？

Answer 1

试试这样：

val sorted_column_names = udf((column_map: Map[String, Int]) => 
    column_map.toSeq.sortBy(- _._2).map(_._1)
)
df.withColumn("column_map", map(lit("a"), $"a", lit("b"), $"b", lit("c"), $"c")
    .withColumn("newcol", sorted_column_names($"column_map"))

Answer 2

类似这样的东西可以是使用数据集的方法：

case class Element(name: String, value: Int)
case class Columns(a: Int, b: Int, c: Int, elements: Array[String])

def function1()(implicit spark: SparkSession) = {
    import spark.implicits._
    val df0: DataFrame =
      spark.createDataFrame(spark.sparkContext
        .parallelize(Seq(Row(1, 2, 3), Row(4, 1, 3))),
        StructType(Seq(StructField("a", IntegerType, false),
          StructField("b", IntegerType, false),
            StructField("c", IntegerType, false))))

    val df1 = df0
      .flatMap(row => Seq(Columns(row.getAs[Int]("a"),
        row.getAs[Int]("b"),
        row.getAs[Int]("c"),
        Array(Element("a", row.getAs[Int]("a")),
        Element("b", row.getAs[Int]("b")),
        Element("c", row.getAs[Int]("c"))).sortBy(-_.value).map(_.name))))

    df1
  }

 def main(args: Array[String]) : Unit = {
        implicit val spark = SparkSession.builder().master("local[1]").getOrCreate()
        function1().show()
 }

给予：

+---+---+---+---------+
|  a|  b|  c| elements|
+---+---+---+---------+
|  1|  2|  3|[a, b, c]|
|  4|  1|  3|[b, c, a]|
+---+---+---+---------+

Answer 3

在这里，使用UDF是实现自定义任务的最简单方法。

val df = spark.createDataFrame(Seq((1,4,3), (4,1,3))).toDF("a", "b", "c")

val names=df.schema.fieldNames
val sortNames = udf((v: Seq[Int]) => {v.zip(names).sortBy(_._1).map(_._2)})
df.withColumn("newcol", sortNames(array(names.map(col): _*))).show