使用spark scala将行转换为列
我想使用spark dataframe将行转换为列。
我的桌子是这样的
Eno,Name
1,A
1,B
1,C
2,D
2,E
我想把它转换成
Eno,n1,n2,n3
1,A,B,C
2,D,E,Null
我用了下面的代码：-
val r = spark.sqlContext.read.format("csv").option("header","true").option("inferschema","true").load("C:\\Users\\axy\\Desktop\\abc2.csv")
val n =Seq("n1","n2","n3"
r
.groupBy("Eno")
.pivot("Name",n).agg(expr("coalesce(first(Name),3)").cast("double")).show()
但我得到的结果是--
+---+----+----+----+
|Eno| n1| n2| n3|
+---+----+----+----+
| 1|null|null|null|
| 2|null|null|null|
+---+----+----+----+
任何人都可以帮助得到渴望的结果。
共有2个答案
import org.apache.spark.sql.functions._
import spark.implicits._
val df= Seq((1,"A"),(1,"B"),(1,"C"),(2,"D"),(2,"E")).toDF("Eno","Name")
val getName=udf {(names: Seq[String],i : Int) => if (names.size>i) names(i) else null}
val tdf=df.groupBy($"Eno").agg(collect_list($"name").as("names"))
val ndf=(0 to 2).foldLeft(tdf){(ndf,i) => ndf.withColumn(s"n${i}",getName($"names",lit(i))) }.
drop("names")
ndf.show()
+---+---+---+----+
|Eno| n0| n1| n2|
+---+---+---+----+
| 1| A| B| C|
| 2| D| E|null|
+---+---+---+----+
val m= map(lit("A"), lit("n1"), lit("B"),lit("n2"), lit("C"), lit("n3"), lit("D"), lit("n1"), lit("E"), lit("n2"))
val df= Seq((1,"A"),(1,"B"),(1,"C"),(2,"D"),(2,"E")).toDF("Eno","Name")
df.withColumn("new", m($"Name")).groupBy("Eno").pivot("new").agg(first("Name"))
+---+---+---+----+
|Eno| n1| n2| n3|
+---+---+---+----+
| 1| A| B| C|
| 2| D| E|null|
+---+---+---+----+
-
所以我的数据集有一些n个日期的位置信息。问题是每个日期实际上是不同的列标题。例如CSV看起来像 我想让它看起来像 我的问题是我不知道该列中有多少个日期（尽管我知道它们总是在name之后开始）
-
我是数据科学的初学者，我正在尝试使用Pandas来旋转此数据框架： 所以它变成这样：（标签应该变成列，文件路径变成行。） “标签”列是一组或一类文件路径。我想把它转换成这样一种方式，它适合这个函数：tf。Keras.preprocessing.image.flow_from_dataframe 提前感谢所有帮助我的人。
-
问题内容： 考虑下面的示例，其中有一个包含人员记录的 Person 表和一个包含链接到人员的可选属性的 PersonAttribute 表： Table: Person Table PersonAttribute 我将如何编写一个查询，使所有具有属性的人都像列一样返回？我需要的结果集是： 因此，从本质上讲，我需要编写一个查询，该查询将获取所有带有所有唯一属性键的人记录，这些键被转换为具有每个人记录
-
问题内容： 我的表包含以下列： 我想显示如下： 如您所见，我想将列与自定义列名成对显示。这对是列A和B，列C和D以及列C和D。 问题答案：
-
XML输入文件： XML输入文件转换为XML输出文件。将XML输入文件的firstName、middleName和lastName标签合并为XML Ouput文件的name标签，将XML输入文件的address1、address2、city、state和pincode标签合并为XML Ouput文件的address标签。 我几乎转换了代码，但我在这里与empId作斗争。我已经在XSLT文件中手动输
-
我已经读过关于MS透视表的东西，但我仍然有问题得到正确的这一点。 我有一个正在创建的临时表，我们会说第1列是一个商店号，第2列是一个星期号，最后第3列是某种类型的总数。而且周数是动态的，商店数是静态的。 我希望它作为一个透视表出来，像这样： 商店的数字下侧和周横跨顶部。