如何从字符串而不是文件在Spark中制作Dataframe？[复制]

Question

目前，我正在从一个带有标题的制表符分隔文件制作一个数据帧，就像这样。

val df = sqlContext.read.format("csv")
  .option("header", "true")
  .option("delimiter", "\t")
  .option("inferSchema","true").load(pathToFile)

我想做完全相同的事情，但使用字符串而不是文件。我该怎么做？

Answer 1

据我所知，没有内置的方法可以从字符串构建数据帧。然而，出于原型设计的目的，您可以从元组序列创建数据帧。

您可以利用它从字符串创建数据帧。

scala> val s  ="x,y,z\n1,2,3\n4,5,6\n7,8,9"
s: String =
    x,y,z
    1,2,3
    4,5,6
    7,8,9
scala> val data = s.split('\n')

// Then we extract the first element to use it as a header.
scala> val header = data.head.split(',')
scala> val df = data.tail.toSeq
    // converting the seq of strings to a DF with only one column
    .toDF("X")
    // spliting the string
    .select(split('X, ",") as "X") 
    // extracting each column from the array and renaming them
    .select( header.indices.map( i => 'X.getItem(i).as(header(i))) : _*)

scala> df.show
+---+---+---+
|  x|  y|  z|
+---+---+---+
|  1|  2|  3|
|  4|  5|  6|
|  7|  8|  9|
+---+---+---+

ps：如果您不在火花REPL中，请确保编写此导入spark.implicits._以便使用toDF（）。