如何在DataFrame Spark1.6中加载特定的配置单元分区？

Question

从Spark1.6开始，根据官方文档，我们不能向DataFrame添加特定的配置单元分区

DataFrame df = hiveContext.read().format("orc").load("path/to/table/entity=xyz")

DataFrame df = hiveContext.read().format("orc").load("path/to/table/") 

我相信这很有效。在Spark1.6中有没有替代方案可以实现这一点？

根据我的理解，Spark1.6加载了所有分区，如果我筛选特定分区，它效率不高，它会击中内存并抛出GC（垃圾收集）错误，因为成千上万的分区被加载到内存中，而不是特定的分区。

Answer 1

要使用Spark1.6在DataFrame中添加特定的分区，我们必须首先设置basePath，然后给出需要加载的分区路径

DataFrame df = hiveContext.read().format("orc").
               option("basePath", "path/to/table/").
               load("path/to/table/entity=xyz")

因此，上面的代码将只加载DataFrame中的特定分区。