星火与蜂巢：未找到表或视图

Question

ApplicationMaster：用户类引发异常：org。阿帕奇。火花sql。AnalysisException：未找到表或视图：“DB\U X”。“表Y”

Spark会话：

  SparkSession
    .builder()          
    .appName(appName)
    .config("spark.sql.warehouse.dir", "/apps/hive/warehouse")
    .enableHiveSupport()
    .getOrCreate();

配置单元站点中的配置单元仓库目录。xml:/apps/hive/warehouse/

hadoop fs -ls /apps/hive/warehouse/
drwxrwxrwx   - root hadoop          0 2018-09-03 11:22 /apps/hive/warehouse/DB_X.db


hadoop fs -ls /apps/hive/warehouse/DB_X.db
none

此处抛出错误：

spark
   .read()
   .table("DB_X.table_Y");

在java中：

spark.sql("show databases").show()
default

在spark shell interactive中：

spark.sql("show databases").show()
default
DB_X

显示创建表table\u Y：

CREATE EXTERNAL TABLE `table_Y`(
...
PARTITIONED BY (
  `partition` string COMMENT '')
...
    location '/data/kafka-connect/topics/table_Y'

Hadoop文件：

hadoop fs -ls /data/kafka-connect/topics/table_Y
drwxr-xr-x   - kafka hdfs          0 2018-09-11 17:24 /data/kafka-connect/topics/table_Y/partition=0
drwxr-xr-x   - kafka hdfs          0 2018-09-11 17:24 /data/kafka-connect/topics/table_Y/partition=1

hadoop fs -ls data/kafka-connect/topics/table_Y/partition=0
-rw-r--r--   3 kafka hdfs     102388 2018-09-11 17:24 /data/kafka-connect/topics/table_Y/partition=0/table_Y+0+0001823382+0001824381.avro
-rw-r--r--   3 kafka hdfs     102147 2018-09-11 17:24 /data/kafka-connect/topics/table_Y/partition=0/table_Y+0+0001824382+0001825381.avro
...

在火花壳或蜂巢壳中一切都很好

配置单元站点。来自配置单元配置文件的xml复制到spark2/conf中

使用HDP2.6.4.0-91与火花2.2

有什么帮助吗？

Answer 1

使用HA名称重新定位表可以解决问题。