在Spark中，如何从行as (Col1，Col2，Col3，(Col4 Col5 Col6))创建元组

Question

在Spark中，如何从行创建元组

< code >(列1，列2，列3，(列4列5列6))

我有400个动态生成的列名。我不想在数据库中进行这种聚合，所以select col1，col2，col3，(col4 col5 col6)不是解决方案。我使用cassandra进行数据存储

Answer 1

使用以下代码解决了它。但是我仍在寻找较短的答案可能是合成糖。

 df.map(x => {
        var sum :Long = 0
      for (i <- 3 until  x.length)
      sum = sum + x(i).asInstanceOf[Long]
        (x(0) ,x(1) ,x(2) ,sum)
      }).collect()

Answer 2

总的来说，我认为你的想法是正确的，所以我在这里的建议只是语法糖:

df
 .map{row => (row(0), row(1), row(2), (3 until row.length).map(row.getLong(_)).sum)}