如何联合两个火花Dataframe与类型结构，可以不同的字段？

Question

我对Apache Spark很陌生，有时仍在努力。我正在尝试导入一个非常复杂的json文件，并在将其保存到拼花文件之前将其展平。

我的json文件是一个存储树。

{
"id": "store02",
"name": "store name",
"domain": "html" target="_blank">domain",
"currency": "EUR",
"address1": "Somewhere",
"country": "GER",
"city": "Berlin",
"zipCode": "12345",
"timeZone": "CET",
"accounts" : [
    {
        "field1": "",
        "filed2": "",
        "field3": "",
        "optionnalArray1": [
            {
                "field1": "",
                "field2": ""
            }
        ],
        "optionnalArray2": ["aa", "bb"]
    }
],
"stores": [ .... ]    
}

每个商店都可以有一个字段，该字段是一个帐户数组。一个帐户有3个必填字段和两个可选字段。所以我有一个数据框，它的字段可以有3种不同的类型。

在数据帧中导入文件并没有什么大不了的，但在扁平化过程中，我可能希望对两个数据帧进行联合，这两个数据帧的帐户可能具有不同的架构，当然，我有以下错误：“只能对具有兼容列类型的表执行联合”

有没有办法轻松地做到这一点？spark如何能够毫无问题地导入这样的json文件？

@拉梅什

假设我有两个数据帧。第一个是无帐户存储的数据帧。第二个是包含帐户的存储的数据框架。帐户是这样定义的结构：

val acquirerStruct = StructType(
    StructField("merchantId", StringType, nullable = true) ::
    StructField("name", StringType, nullable = true) ::
    Nil)

val accountStruct = StructType(
    StructField("acquirers", ArrayType(acquirerStruct), nullable = true) ::
        StructField("applicationCode", StringType, nullable = true) ::
        StructField("channelType", StringType, nullable = true) ::
        StructField("id", StringType, nullable = true) ::
        StructField("terminals", ArrayType(StringType), nullable = true) ::
        Nil)

当我想要合并这两个数据帧时，我会在之前为我的第一个数据帧创建一个列帐户：

df1.withColumn("account", array(lit(null).cast(accountStruct))).union(df2)

如果在df2中，所有行都有一个与accountStruct具有相同结构的帐户，那么它可以正常工作。但这并不总是正确的。账户可能没有终端或收单机构。这在json中完全有效。在这种情况下，我有前面提到的错误。

"Union can only be performed on tables with the compatible column types"

Answer 1

我在PySpark中遇到了同样的问题，我通过在读取不兼容的数据帧时提供模式来解决它

import copy
...
schema_to_read = copy.deepcopy(df1.schema)
df2 = sql_context.read.format("json").schema(schema_to_read).load(path)