将dataframe架构加载到元数据表

Question

用例是读取一个文件并在其上创建一个数据帧。之后，获取该文件的架构并存储到DB表中。

例如，我只是创建一个case类并获取printschema，但是我无法从中创建数据帧

下面是一个示例代码

case class Employee(Name:String, Age:Int, Designation:String, Salary:Int, ZipCode:Int)

val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.master", "local")
.getOrCreate()

import spark.implicits._
val EmployeesData = Seq( Employee("Anto",   21, "Software Engineer", 2000, 56798))
val Employee_DataFrame = EmployeesData.toDF
val dfschema = Employee_DataFrame.schema

现在dfSchema是一个结构类型，并希望将其转换为两列的数据帧，如何实现

Answer 1

试试这个-

//-- For local file
val rdd = spark.read.option("wholeFile", true).option("delimiter",",").csv(s"file:///file/path/file.csv").rdd

val schema = StructType(Seq(StructField("Name", StringType, true),
                            StructField("Age", IntegerType, true),
                            StructField("Designation", StringType, true),
                            StructField("Salary", IntegerType, true),
                            StructField("ZipCode", IntegerType, true)))

val df = spark.createDataFrame(rdd,schema)

Answer 2

火花

为了将架构保存为字符串格式，可以使用StructType的toDDL方法。在您的情况下，DDL格式应为：

`Name` STRING, `Age` INT, `Designation` STRING, `Salary` INT, `ZipCode` INT

保存模式后，您可以从数据库中加载它并将其用作结构ype.fromDDL（my_schema），这将返回一个结构类型实例，您可以使用该实例使用spark.createDataFrame创建新的数据框架，如@Ajay已经提到的。

同样有用的是要记住，您总是可以通过以下方式提取给定案例类的模式：

import org.apache.spark.sql.catalyst.ScalaReflection
val empSchema = ScalaReflection.schemaFor[Employee].dataType.asInstanceOf[StructType]

然后您可以使用empSchema.toDDL获取DDL表示。

火花

对于火花

val empSchema = ScalaReflection.schemaFor[Employee].dataType

empSchema.simple字符串的示例输出：

struct<Name:string,Age:int,Designation:string,Salary:int,ZipCode:int>