如何从spark SQL访问本地parquet文件？

Question

我正在使用Dropwizard web服务来访问许多parquet文件，我需要使用“真正的”sql（字符串）而不是spark DDL（我已经尝试过了，但没有满足我的需要）。我在独立模式下使用spark从eclipse启动服务。Spark版本是1.4.1。

问题是spark不能解析普通SQL中的parquet引用，如下所示：（我在./bro/conn.parquet中启动web服务的文件夹中有一个测试副本）

DataFrame df = sqlContext
        .sql(sql)
        .limit(5)
;

http://localhost:8080/table/query?sql=select%20ts%20from%20%20parquet.`./bro/conn.parquet` 

parquet通过SQL访问是否有效，或者仅仅使用DDL API（我不能用于本用例）。是否有一种方法可以使用DDL api加载dataframe（dataframe df=sqlcontext.read（）.parquet（path））然后将完整的sql命令（减去from子句）应用到结果？

0:0:0:0:0:0:0:1 - - [02/Jun/2016:12:47:06 +0000] "GET /table/query?sql=select%20ts%20from%20%20parquet.`./bro/conn.parquet` HTTP/1.1" 500 1483 74 74
ERROR [2016-06-02 13:02:29,810] com.yammer.dropwizard.jersey.LoggingExceptionMapper: Error handling a request: fc462d5554bce965
! java.lang.RuntimeException: Table Not Found: parquet../bro/conn.parquet
! at scala.sys.package$.error(package.scala:27)
! at org.apache.spark.sql.catalyst.analysis.SimpleCatalog$$anonfun$1.apply(Catalog.scala:115)
! at org.apache.spark.sql.catalyst.analysis.SimpleCatalog$$anonfun$1.apply(Catalog.scala:115)
! at scala.collection.MapLike$class.getOrElse(MapLike.scala:128)
! at scala.collection.AbstractMap.getOrElse(Map.scala:58)
! at org.apache.spark.sql.catalyst.analysis.SimpleCatalog.lookupRelation(Catalog.scala:115)
! at org.apache.spark.sql.catalyst.analysis.Analyzer$ResolveRelations$.getTable(Analyzer.scala:222)
! at org.apache.spark.sql.catalyst.analysis.Analyzer$ResolveRelations$$anonfun$apply$7.applyOrElse(Analyzer.scala:233)
! at org.apache.spark.sql.catalyst.analysis.Analyzer$ResolveRelations$$anonfun$apply$7.applyOrElse(Analyzer.scala:229)
! at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$3.apply(TreeNode.scala:222)
! at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$3.apply(TreeNode.scala:222)
! at org.apache.spark.sql.catalyst.trees.CurrentOrigin$.withOrigin(TreeNode.scala:51)
! at org.apache.spark.sql.catalyst.trees.TreeNode.transformDown(TreeNode.scala:221)
! at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$4.apply(TreeNode.scala:242)
...
0:0:0:0:0:0:0:1 - - [02/Jun/2016:13:02:29 +0000] "GET /table/query?sql=select%20ts%20from%20%20parquet.`./bro/conn.parquet` HTTP/1.1" 500 1483 20 20

Answer 1

这是由spark-sql 1.4.1中的一个bug引起的。升级到1.6.1修正了它。