Spark Dataframe：行对象分隔符

Question

提前谢谢。

您好，我正在使用 spark 数据帧和 scala 进行一些数据处理，我有一个要求，我需要从 parquet 文件中读取具有相同数据类型的多个列，即在我的情况下是结构类型，以处理和创建新数据帧具有与结构类型字段相同的架构，即 field1、field2 和 field3，并使用下面显示的所有列示例中的数据填充数据帧。

例如，假设我有3列

a)column1: struct (nullable = true)
     |-- field1: string (nullable = true)
     |-- field2: string (nullable = true)
     |-- field3: string (nullable = true)

b)column2: struct (nullable = true)
     |-- field1: string (nullable = true)
     |-- field2: string (nullable = true)
     |-- field3: string (nullable = true)

c)column3: struct (nullable = true)
     |-- field1: string (nullable = true)
     |-- field2: string (nullable = true)
     |-- field3: string (nullable = true)

我能够使用下面的代码片段从列中读取所有值

dataframe.select("column1","column2","column3")

上面的代码返回Row对象

[[column1field1,column1field2,column1field3],null,null]
[null,[column2field1,column2field2,column2field3],null]
[null,null,[column3field1,column3field2,column3field3]]
[[column1field1,column1field2,some record, with multiple,separator],null,null]

这里的问题是，我能够使用“，”分隔符从row对象读取值，并能够用3个字段填充数据帧，但是由于这些字段是字符串，所以在parquet中有记录，我在字符串数据本身中有多个“，”分隔符，如上面最后一个Row对象中所示，因此导致数据帧模式中的问题，因为我使用“，”分隔符来检索Row对象的值，它给了我3个以上的字段。我该如何摆脱这个错误？在Spark中，有什么规定可以改变行数组值的对象分隔符来解决这个问题吗？

Answer 1

是的，您可以加载不同的分隔符，如

sqlContext.load("com.databricks.spark.csv", yourSchema, Map("path" -> yourDataPath, "header" -> "false", "delimiter" -> "^"))

运筹学

sqlContext.read.format("com.databricks.spark.csv").schema(yourSchema).options(Map("path" -> schema, "header" -> "false", "delimiter" -> "^")).load()

具体取决于你使用的是哪个版本的 Spark。

至于字符串中的分隔符，您要么需要在加载之前使用分隔符'，'对它们进行转义，要么使用不同的分隔符。