从以制表符分隔的csv创建数据帧，其中有些列是json类型，有些不是[duplicate]

Question

我试图创建一个火花数据帧（使用scala）从csv有这样的条目：这是一个单行条目5列：

{用户名：john_doe，id：123411}true 0 5{国家：IN，城市：BOM}

所以，有些列是JSON格式的，有些不是。我确实编写了一些代码，将JSON列作为字符串处理，并直接将它们作为字符串按行添加到数据帧中，但剩下的其他列我必须手动将它们添加到数据帧中，这是一个代价高昂的过程，因为我创建了一个单独的数据帧，向其中添加了一个“id”列，进行自然连接，每次删除“id”列。

任何帮助都将不胜感激！

Answer 1

首先，您需要正确读取csv，这样json列就可以作为字符串读取。所以您可以这样做：

val csvSchema = StructType(Seq(StructField("info", StringType), StructField("boolean", BooleanType), ....))
val df = spark.read.option(...).schema(csvSChema).csv(...)

将完整模式构建到csvSchema中，设置相关选项（分隔符、标题）设置模式并读取csv。

生成的数据帧将在json列中包含字符串。现在我们可以将json转换为实际列：

 val s = StructType(StructField("username", StringType), StructField("id",StringType))

df.withColumn("info", from_json(df("info"), s))

结果将在新列中生成一个结构。