加载带有模式信息的文件并使用Spark动态应用于数据文件

Question

我不想使用推断架构和标题选项。唯一的方法是我应该读取一个只包含列标题的文件，并且应该动态地使用它来创建数据帧。

我使用Spark 2和来加载带有用户定义模式的单个csv文件，但我希望动态处理此问题，以便在我只提供模式文件的路径后，它将读取该路径并将其用作数据的标头，并使用模式文件中提供的模式将其转换为数据帧。

假设我提供的文件夹中包含2个文件。一个文件将只有数据，标头不是强制性的。第二个文件将具有模式（列名）。所以我必须先读取模式文件，然后是包含数据的文件，并且必须将模式应用于数据文件并在数据帧中显示。

小示例，schema。txt包含：

Custid,Name,Product

而数据文件有：

1,Ravi,Mobile

Answer 1

根据您的评论，我假设模式文件只包含列名，并且格式类似于csv文件（列名作为标题，没有任何数据）。列类型将从实际数据文件中推断出来，而不是由架构文件指定。

在这种情况下，最简单的解决方案是将模式文件作为csv读取，将header设置为true。这将提供一个空的数据帧，但标题正确。然后读取数据文件并将默认列名更改为架构数据框架中的列名。

val schemaFile = ...
val dataFile = ...    

val colNames = spark.read.option("header", true).csv(schemaFile).columns
val df = spark.read
  .option("header", "false")
  .option("inferSchema", "true")
  .csv(dataFile)
  .toDF(colNames: _*)