Spark无法看到蜂箱外部表
我是Spark和AWS的一个无名小卒。
我在AWS有一张DynamoDB桌子。我用hive在EMR上创建了一个火花簇。使用HiveShell，我创建了外部表“RawData”，以连接到DynamoDB。
现在，当我用DynamoDB依赖项jars——jars/usr/share/aws/emr/ddb/lib/emr-ddb-hive启动spark shell时。jar，/usr/share/aws/emr/ddb/lib/emr-ddb-hadoop。jar我可以用HiveContext查询表“RawData”并得到结果。但当我用Spark submit提交Spark程序时，我在终端中看到了一些Spark异常，并在我找到的日志中看到：“org.apache.Spark.sql.AnalysisException:没有这样的表RawData”。
这就是我创建集群的方式：aws emr创建集群——命名为MyCluster——发布标签emr-4.0.0——应用程序名称=Spark名称=配置单元
请告诉我做错了什么。列夫
共有1个答案
我找到了submit命令中缺少的内容。我不得不添加——files/etc/hive/conf/hive站点。xml作为spark submit的参数之一。
-
我正在使用Spark生成拼花文件（通过分区，使用Snappy压缩），并将它们存储在HDFS位置。 拼花数据文件存储在下 然后为其创建配置单元表,如下所示：
-
我按照这里给出的步骤从外部Jenkins实例连接到openshift在线代理。然而，当我提供OpenShift凭据时，即使我似乎拥有正确的凭据，登录也无法通过。消息“无法请求https://openshift.redhat.com/broker/rest/domains:OpenShift Online（下一代）开发者预览版在这里！我们不会接受OpenShift Online（v2）平台上的新用户
-
我正在执行一个HQL查询，该查询几乎没有连接、联合和插入覆盖操作，如果只运行一次，它就可以正常工作。 如果我第二次执行相同的作业，我就会面临这个问题。有人能帮我确定在哪种情况下我们会得到这个异常吗？
-
我创建了一个兽人蜂巢表，如下所示： 但是在spark jobs控制台中：它显示了与上述查询跳过的阶段（1）相关的一个作业--spark JDBC服务器查询
-
一、简介 1.1 多数据源支持 Spark 支持以下六个核心数据源，同时 Spark 社区还提供了多达上百种数据源的读取方式，能够满足绝大部分使用场景。 CSV JSON Parquet ORC JDBC/ODBC connections Plain-text files 注：以下所有测试文件均可从本仓库的resources 目录进行下载 1.2 读数据格式 所有读取 API 遵循以下调用格式：