Azure Databricks，无法读取带有嵌套列表的逗号分隔的CSV文件

Question

我有一个相当大的逗号分隔的CSV文件(12GB)。我有4列，其中1列包含带有JSON的嵌套列表。我可以从Excel创建一个连接，它可以正确地读取它（尽管我在那里有一些嵌套列表，这意味着更多的逗号）。然而，当我试图通过spark来实现它时，它在每次出现逗号时都会被切分，这造成了很多混乱。

好的，所以我已经尝试提供一个模式。显然CSV不支持数组类型，所以我不能这么容易地做到这一点。我可以用字符串而不是数组定义模式，但我的最后一列如下所示：

所以，我得到了第一个逗号之前的一切，Rest就消失了。

与类似定义的模式相同：

user_schema = StructType([
    StructField("businessID", StringType(), True), 
    StructField("vid", StringType(), True),
    StructField("company_name", StringType(), True),
    StructField("financial_statements", StringType(), True)
])

Answer 1

尝试[作为选项

val schema = StructType(
  Seq(
    StructField("businessID", StringType),
    StructField("vid", StringType),
    StructField("company_name", StringType),
    StructField("financial_statements", StringType),
  ),
)

val df = spark.read
  .schema(schema)
  .format("csv")
  .option("quote", "[")
  .load(path)

val jsonSchema = StructType(
  Seq(
    StructField("key1", StringType),
    StructField("key2", IntegerType),
    StructField("key3", BooleanType),
  ),
)

val dfClean = df.withColumn("financial_statements_json", from_json($"financial_statements", jsonSchema))

dfClean.printSchema()
dfClean.show(false)

产出：

+----------+---+------------+-------------------------------------------+-------------------------+
|businessID|vid|company_name|financial_statements                       |financial_statements_json|
+----------+---+------------+-------------------------------------------+-------------------------+
|1         |A  |AAA         |{"key1": "va1", "key2": 123, "key3": true}]|[va1, 123, true]         |
+----------+---+------------+-------------------------------------------+-------------------------+