从分区拼花文件读取DataFrame

Question

如何读取带有条件作为数据帧的分区镶木地板，

这工作得很好，

val dataframe = sqlContext.read.parquet("file:///home/msoproj/dev_data/dev_output/aln/partitions/data=jDD/year=2015/month=10/day=25/*")

分区存在的时间为< code>day=1到day=30是否可能读取类似于< code>(day = 5到6)或< code>day=5，day=6的内容，

val dataframe = sqlContext.read.parquet("file:///home/msoproj/dev_data/dev_output/aln/partitions/data=jDD/year=2015/month=10/day=??/*")

如果我输入< code>*,它会给出所有30天的数据，而且太大了。

Answer 1

您需要提供 mergeSchema = true 选项。如下所述（这是从 1.6.0 开始的）：

val dataframe = sqlContext.read.option("mergeSchema", "true").parquet("file:///your/path/data=jDD")

这将把所有的拼花文件读入dataframe，并在dataframe数据中创建年、月和日列。

参考： https://spark.apache.org/docs/1.6.0/sql-programming-guide.html#schema-merging

Answer 2

如果您想阅读多天，例如day=5andday=6并且想在路径本身中提及范围，可以使用通配符：

val dataframe = sqlContext
  .read
  .parquet("file:///your/path/data=jDD/year=2015/month=10/day={5,6}/*")

通配符还可用于指定天数范围：

val dataframe = sqlContext
  .read
  .parquet("file:///your/path/data=jDD/year=2015/month=10/day=[5-10]/*")

这与从5到10的所有日期匹配。

Answer 3

< code > sqlcontext . read . parquet 可以将多条路径作为输入。如果您只想要< code>day=5和< code>day=6，您可以简单地添加两个路径，如下所示:

val dataframe = sqlContext
      .read.parquet("file:///your/path/data=jDD/year=2015/month=10/day=5/", 
                    "file:///your/path/data=jDD/year=2015/month=10/day=6/")

如果您在< code>day=X下有文件夹，例如< code>country=XX，< code>country将自动添加为< code>dataframe中的一列。

编辑：从Spark 1.6开始，需要提供“basepath”选项，以便Spark自动生成列。在Spark 1.6. x中，上述内容必须像这样重新编写，以创建包含“data”、“年”、“月”和“日”列的数据框：

val dataframe = sqlContext
     .read
     .option("basePath", "file:///your/path/")
     .parquet("file:///your/path/data=jDD/year=2015/month=10/day=5/", 
                    "file:///your/path/data=jDD/year=2015/month=10/day=6/")