AWS EMR 5.11。0-Spark上的Apache配置单元

Question

我正在尝试在AWS EMR 5.11的Spark上安装Apache Hive。ApacheSpark版本-2.2。1 Apache配置单元版本-2.3。2条纱线记录显示以下错误：

18/01/28 21:55:28错误ApplicationMaster:用户类引发异常：java。lang.NoSuchFieldError:SPARK\u RPC\u服务器\u地址java。lang.NoSuchFieldError:SPARK\u RPC\u服务器地址位于组织。阿帕奇。蜂箱火花客户rpc。RPC配置。（RpcConfiguration.java:47）位于org。阿帕奇。蜂箱火花客户远程驱动程序。（RemoteDriver.java:134）位于org。阿帕奇。蜂箱火花客户远程驱动程序。sun上的main（RemoteDriver.java:516）。反映NativeMethodAccessorImpl。在sun上调用0（本机方法）。反映NativeMethodAccessorImpl。在sun上调用（NativeMethodAccessorImpl.java:62）。反映DelegatingMethodAccessorImpl。在java上调用（DelegatingMethodAccessorImpl.java:43）。朗。反思。方法在org调用（Method.java:498）。阿帕奇。火花部署纱线ApplicationMaster$$anon$2。运行（ApplicationMaster.scala:635）

蜂巢服务器2。日志：2018-01-28221:56:50109错误[HiveServer2后台池：线程-68（[]）]：客户端。SparkClientImpl（SparkClientImpl.java:（112））-等待客户端连接时超时。可能的原因包括网络问题、远程驱动程序错误或群集没有可用资源等。请查看Thread或Spark驱动程序日志以了解更多信息。JAVAutil。同时发生的ExecutionException:java。util。同时发生的TimeoutException：等待客户端连接时超时。在木卫一。内蒂。util。同时发生的抽象未来。在org上获取（AbstractFuture.java:41）~[netty-all-4.0.52.Final.jar:4.0.52.Final]。阿帕奇。蜂箱火花客户SparkClientImpl。（SparkClientImpl.java:109）~[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]。阿帕奇。蜂箱火花客户SparkClientFactory。在org上创建客户端（SparkClientFactory.java:80）~[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]。阿帕奇。hadoop。蜂箱ql.exec。火花RemoteHiveParkClient。在org上创建RemoteClient（RemoteHiveSparkClient.java:101）~[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]。阿帕奇。hadoop。蜂箱ql.exec。火花RemoteHiveParkClient。（RemoteHiveSparkClient.java:97）~[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]。阿帕奇。hadoop。蜂箱ql.exec。火花HiveSparkClientFactory。在org上创建hivesparkclient（HiveSparkClientFactory.java:73）~[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]。阿帕奇。hadoop。蜂箱ql.exec。火花一场SparkSessionImpl。在org上打开（SparkSessionImpl.java:62）~[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]。阿帕奇。hadoop。蜂箱ql.exec。火花一场SparkSessionManagerImpl。getSession（SparkSessionManagerImpl.java:115）~[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]位于org。阿帕奇。hadoop。蜂箱ql.exec。火花稀疏性。getSparkSession（SparkUtilities.java:126）~[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]

另外，2018-01-28221:56:50110错误[HiveServer2后台池：Thread-68（[]）]：spark。SparkTask（SessionState.java:printError（1126））-未能执行spark任务，异常为“org”。阿帕奇。hadoop。蜂箱ql.metadata。HiveException（未能创建spark客户端）'组织。阿帕奇。hadoop。蜂箱ql.metadata。HiveException:未能创建spark客户端。在org。阿帕奇。hadoop。蜂箱ql.exec。火花一场SparkSessionImpl。在org上打开（SparkSessionImpl.java:64）。阿帕奇。hadoop。蜂箱ql.exec。火花一场SparkSessionManagerImpl。org上的getSession（sparksSessionManagerImpl.java:115）。阿帕奇。hadoop。蜂箱ql.exec。火花稀疏性。getSparkSession（SparkUtilities.java:126）位于org。阿帕奇。hadoop。蜂箱ql.exec。火花斯巴克任务。在org上执行（SparkTask.java:103）。阿帕奇。hadoop。蜂箱ql.exec。任务org上的executeTask（Task.java:199）。阿帕奇。hadoop。蜂箱ql.exec。任务执行者。org上的runSequential（TaskRunner.java:100）。阿帕奇。hadoop。蜂箱ql.Driver。在org上启动任务（Driver.java:2183）。阿帕奇。hadoop。蜂箱ql.Driver。在org上执行（Driver.java:1839）。阿帕奇。hadoop。蜂箱ql.Driver。org上的runInternal（Driver.java:1526）。阿帕奇。hadoop。蜂箱ql.Driver。在org上运行（Driver.java:1237）。阿帕奇。hadoop。蜂箱ql.Driver。在org上运行（Driver.java:1232）。阿帕奇。蜂箱服务cli。活动SQLOperation。在org上运行查询（SQLOperation.java:255）。阿帕奇。蜂箱服务cli。活动SQLOperation。在org上访问$800（SQLOperation.java:91）。阿帕奇。蜂箱服务cli。活动SQLOperation$BackgroundWork$1。在java上运行（SQLOperation.java:348）。安全访问控制器。javax上的doPrivileged（本机方法）。安全auth。主题doAs（Subject.java:422）位于org。阿帕奇。hadoop。安全用户组信息。doAs（UserGroupInformation.java:1698）位于org。阿帕奇。蜂箱服务cli。活动SQLOperation$BackgroundWork。在java上运行（SQLOperation.java:362）。util。同时发生的遗嘱执行人$runnableapter。在java上调用（Executors.java:511）。util。同时发生的未来任务。在java上运行（FutureTask.java:266）。util。同时发生的线程池执行器。java上的runWorker（ThreadPoolExecutor.java:1149）。util。同时发生的线程池执行器$Worker。在java上运行（ThreadPoolExecutor.java:624）。朗。丝线。运行（Thread.java:748）的原因是：java。RuntimeException:java。util。同时发生的ExecutionException:java。util。同时发生的TimeoutException：等待客户端连接时超时。

有人能指出我在配置中可能缺少什么吗？

Answer 1

sbt或pom。xml将如下所示。

“org.apache.spark”%%“提供了sparkVersion%”，

"org.apache.spark " %% "Spark-sql"%SparkVersion%"提供"，

"org.apache.spark " %% "火花-蜂巢"%火花版本%"提供"，

我在EMR上运行数据仓库（Hive），spark应用程序将数据存储到DWH中。

Answer 2

EMR Spark支持Hive 1.2版。1而不是蜂巢2。x版本。请检查/usr/lib/spark/jars/目录中提供的配置单元jar版本。SPARK_RPC_服务器_地址添加到配置单元版本2中。十、

Answer 3

抱歉，EMR尚不支持Hive on Spark。我自己还没有尝试过，但我认为您错误的可能原因可能是EMR支持的Spark版本与Hive所依赖的Spark版本不匹配。上次检查时，Hive在Spark上运行Hive时不支持Spark 2. x。鉴于您的第一个错误是NoSuchFieldError，似乎版本不匹配是最有可能的原因。超时错误可能是转移视线。