从json模式表示创建spark dataframe模式

Question

有没有办法将数据帧模式序列化为json并在以后反序列化？

用例很简单：我有一个json配置文件，其中包含我需要读取的数据帧的模式。我希望能够从现有模式（在数据帧中）创建默认配置，并希望能够通过从json字符串读取来生成稍后使用的相关模式。

Answer 1

我正在发布一个pyspark版本的Assaf回答的问题：

from pyspark.sql.types import StructType    

# Save schema from the original DataFrame into json:
schema_json = df.schema.json()

# Restore schema from json:
import json
new_schema = StructType.fromJson(json.loads(schema_json))

Answer 2

为此有两个步骤：从现有数据帧创建json，并从之前保存的json字符串创建模式。

从现有数据帧创建字符串

    val schema = df.schema
    val jsonString = schema.json

从json创建架构

    import org.apache.spark.sql.types.{DataType, StructType}
    val newSchema = DataType.fromJson(jsonString).asInstanceOf[StructType]