无法通过livy客户端将jar上载到livy会话

Question

代码：

LivyClient client = null;
try
{
  String livyUrl = "http://dummy16814.zycus.net:8998";
  client = new LivyClientBuilder().setURI(new URI(livyUrl)).build();

  String piJar = "E:\\livy_old.jar";
  System.err.printf("Uploading %s to the Spark context...\n", piJar);
  client.uploadJar(new File(piJar)).get();

  int samples = 10;
  System.err.printf("Running PiJob with %d samples...\n", samples);

  double pi = client.submit(new PiJob()).get();
  System.out.println("Pi is roughly: " + pi);
}
finally
{
  client.stop(true);
}

上传jar时出现以下异常

上传E:\livy\u old。jar到Spark上下文。。。线程“main”java中出现异常。util。同时发生的ExecutionException:java。木卫一。IOException:请求错误：“请求失败：无法将本地路径/root/.livy sessions/61a5e39c-d199-4bb8-967b-960b4e3e9ee3/livy_old.jar添加到用户会话。”在爪哇。util。同时发生的未来任务。java上的报告（FutureTask.java:122）。util。同时发生的未来任务。在com上获取（FutureTask.java:192）。zycus。火花皮约伯。main（PiJob.java:64）由：java引起。木卫一。IOException:请求错误：“请求失败：无法将本地路径/root/.livy sessions/61a5e39c-d199-4bb8-967b-960b4e3e9ee3/livy_old.jar添加到用户会话。”在com。克劳德拉。利维。客户http。LivyConnection。com上的sendRequest（LivyConnection.java:197）。克劳德拉。利维。客户http。LivyConnection。在com上发布（LivyConnection.java:162）。克劳德拉。利维。客户http。HttpClient$2。在com上调用（HttpClient.java:155）。克劳德拉。利维。客户http。HttpClient$2。在java上调用（HttpClient.java:152）。util。同时发生的未来任务。在java上运行（FutureTask.java:266）。util。同时发生的ScheduledThreadPoolExecutor$ScheduledFutureTask。在java上访问$201（ScheduledThreadPoolExecutor.java:180）。util。同时发生的ScheduledThreadPoolExecutor$ScheduledFutureTask。在java上运行（ScheduledThreadPoolExecutor.java:293）。util。同时发生的线程池执行器。java上的runWorker（ThreadPoolExecutor.java:1142）。util。同时发生的线程池执行器$Worker。在java上运行（ThreadPoolExecutor.java:617）。朗。丝线。运行（Thread.java:745）

Answer 1

如果在本地运行，则必须在livy.conf中修改两个属性。

利维。火花硕士=本地，

利维。文件本地目录白名单=[/path/tothe/file]

换了这两个参数后我就能让它工作了

Answer 2

添加spark.masteryarn-集群到火花配置文件在我的情况下它是spark-defaults.conf。

在群集中的所有节点上添加此项。

Answer 3

默认情况下，Livy不允许将本地文件附加到用户会话：https://groups.google.com/a/cloudera.org/forum/#!topic/livy user/mm XEhANDHU I通过在livy-server-0.3.0/conf/livy中指定本地路径解决了这个问题。形态：

利维。文件本地目录白名单=/root/。利维会议/

这应该在他们的文件中提到