镶木地板上的蜂巢外部表未获取数据

Question

我正在尝试创建一个数据管道，其中incomng数据存储在parquet中，我创建了一个外部配置单元表，用户可以查询配置单元表并检索数据。我可以保存parquet数据并直接检索它，但当我查询配置单元表格时，它不会返回任何行。我做了以下测试设置：

-创建外部配置单元表创建外部表emp ( id double，hire_dt时间戳，用户字符串)存储为parquet location '/test/EMP '；

现在在一些数据上创建了数据帧并保存到镶木地板。

---创建数据帧并插入数据

val employeeDf = Seq(("1", "2018-01-01","John"),("2","2018-12-01", "Adam")).toDF("id","hire_dt","user")
val schema = List(("id", "double"), ("hire_dt", "date"), ("user", "string"))
val newCols= schema.map ( x => col(x._1).cast(x._2)) 
val newDf = employeeDf.select(newCols:_*)
newDf.write.mode("append").parquet("/test/emp")
newDf.show 

--read the contents directly from parquet 
val sqlcontext=new org.apache.spark.sql.SQLContext(sc)
sqlcontext.read.parquet("/test/emp").show 

+---+----------+----+
| id|   hire_dt|user|
+---+----------+----+
|1.0|2018-01-01|John|
|2.0|2018-12-01|Adam|
+---+----------+----+

--read from the external hive table 
spark.sql("select  id,hire_dt,user from  emp").show(false)

+---+-------+----+
|id |hire_dt|user|
+---+-------+----+
+---+-------+----+

如上所示，如果我直接从镶木地板读取，但不能从蜂巢读取，我能够看到数据。问题是我在这里做错了什么？我做错了，蜂巢没有获取数据。我认为msck修复可能是一个原因，但如果我尝试做msck修复表说表未分区，我会得到错误。

Answer 1

sparkSession builder()语句中是否有enableHiveSupport()。您能够连接到hive metastore吗？尝试在代码中显示表/数据库，看看是否可以显示配置单元位置上的表。

Answer 2

除了下面Ramdev给出的答案之外，您还需要注意在日期/时间戳周围使用正确的数据类型；创建配置单元表时，parquet不支持“日期”类型。

为此，您可以将列'hire_dt'的'date'类型更改为'时间戳'。

否则，您在火花中坚持并尝试在蜂巢（或蜂巢SQL）中读取的数据将不匹配。在两个地方都将其保持为“时间戳”将解决问题。我希望它有所帮助。

Answer 3

根据创建表语句，您已将位置用作 /test/emp，但在写入数据时，您正在写入 /tenants/gwm/idr/emp。所以你不会在 /test/emp 上有数据。

创建外部配置单元表创建外部表emp ( id double，hire_dt时间戳，用户字符串)存储为parquet location '/test/EMP '；

请将外部表重新创建为

创建外部配置单元表创建外部表emp ( id double，hire_dt时间戳，用户字符串)存储为parquet location '/tenances/gwm/IDR/EMP '；