如何解析CSV字符串到火花数据帧使用scala？

Question

我想将包含字符串记录的RDD转换为Spark数据帧，如下所示。

"Mike,2222-003330,NY,34"
"Kate,3333-544444,LA,32"
"Abby,4444-234324,MA,56"
....

模式行不在同一个RDD中，而是在另一个变量中：

val header = "name,account,state,age"

所以现在我的问题是，我如何使用上面两个，在Spark中创建一个数据帧？我使用的是Spark 2.2版。

我确实搜索并看到了一篇帖子：我可以使用spack-csv将表示为字符串的CSV读取到Apache Spark中吗？然而，这并不是我所需要的，我也无法找到一种方法来修改这段代码以在我的情况下工作。

非常感谢你的帮助。

Answer 1

更简单的方法可能是从CSV文件开始，直接将其作为数据帧读取（通过指定模式）。您可以在这里看到一个示例：在将csv文件作为数据帧读取时提供模式。

当数据已经存在于RDD中时，您可以使用toDF（）转换为数据帧。此函数还接受列名作为输入。要使用此功能，请首先使用Spark会话对象导入火花隐含：

val spark: SparkSession = SparkSession.builder.getOrCreate()
import spark.implicits._

由于RDD包含字符串，因此需要首先将其转换为表示数据帧中列的元组。在这种情况下，这将是一个RDD[（String， String， String， Int）]，因为有四个列（最后一个age列更改为int以说明如何完成）。

假设输入数据位于rdd中：

val header = "name,account,state,age"

val df = rdd.map(row => row.split(","))
  .map{ case Array(name, account, state, age) => (name, account, state, age.toInt)}
  .toDF(header.split(","):_*)

结果数据帧：

+----+-----------+-----+---+
|name|    account|state|age|
+----+-----------+-----+---+
|Mike|2222-003330|   NY| 34|
|Kate|3333-544444|   LA| 32|
|Abby|4444-234324|   MA| 56|
+----+-----------+-----+---+