在Spark webUI中看不到已完成的工作
我正在使用./bin/spack-递交来运行我的Spark作业。它运行正常，但是打开Spark webUI，我看不到已完成列表中的作业。
./bin/spark-submit --name "myapp" --master local --conf "spark.master=spark://fahad:7077" --class com.apptest.App ~/app-0.0.1-SNAPSHOT.jar
注意：Spark版本2.0.1，1个工作进程运行，本地主机上的主UI:8080，工作进程和主进程都从运行/sbin/启动-*。sh脚本。
共有1个答案
有两个不同的UI，常规Spark UI和Spark History Server。
作业完成后显示作业的是历史服务器。
http://spark.apache.org/docs/latest/monitoring.html
他们在文档中解释说，您需要通过运行来启动它：
./sbin/start-history-server.sh
默认情况下，这会在超文本传输协议：//server-url： 18080处创建一个Web界面，列出不完整和已完成的应用程序和尝试。
使用文件系统提供程序类（请参阅下面spark.history.provider）时，必须在spark.history.fs.log目录配置选项中提供基本日志目录，并且应该包含每个表示应用程序事件日志的子目录。
火花作业本身必须配置为记录事件，并将它们记录到同一个共享的可写目录中。例如，如果服务器配置了hdfs://namenode/shared/spark日志文件目录，那么客户端选项将是：
火花事件日志。启用true spark。事件日志。目录hdfs://namenode/shared/spark-logs
-
我们在PayPal沙箱上测试我们的应用程序。我能够通过一个账户（ewa）付款。tkacz@zoho.com)另一个（ewa.tkacz）-facilitator@mmigroup.pl)，并且此付款的状态在付款人帐户（付款ID 3F335538TV000622E）上已完成，但在收款人业务帐户上，我无法看到此付款，也无法通过API获取它。 这个问题是贝宝的，正如你在Stackoverflow论坛上建
-
我有一个脚本，当数据被添加到列“我”时，它将数据从一个工作表移动到另一个工作表。 我想调整脚本，以执行将所有行（值）从未支付的工作表（其中列I不是空的）通过按钮按钮移动到已支付的工作表，而不是在编辑时。这将允许一次从多行移动数据，而不是使用一次只移动一行的当前脚本。 有人能帮忙吗？ 附带说明，脚本的“如果”部分旨在将代码移回原始工作表。这是不需要的，但我无法删除这部分代码并保持功能。
-
问题内容： 我正在编写一个具有5个线程的应用程序，这些线程可以同时从Web获取一些信息，并在缓冲区类中填充5个不同的字段。 当所有线程完成其工作时，我需要验证缓冲区数据并将其存储在数据库中。 我该怎么做（当所有线程完成工作时收到警报）？ 问题答案： 我采用的方法是使用管理线程池。
-
我在eclipse中有两个maven项目，一个jar和一个war。war依赖于jar，这是通过工作区解析解决的。 问题是jar已经生成了类，这些类是通过build-helper-maven-plugin添加到jar中的。但是这些类在war项目中没有得到正确的解决。例如：它自动完成类，但一直说找不到。更重要的是，当通过eclipse运行glassfish时，我得到了一个这些类都找不到的类。 如果我禁
-
我必须使自动完成与国家从SQL。 1.php$SQL_LIST_Countries=(SQL请求） var_dump 脚本javascript（在php文件中）： var country_array=； var测试=json.stringify(country_array)； console.log（测试）； 3.js文件（！） jQuery（document）.Ready（函数($){ cons
-
目前的问题是jenkins管道作业确实正常运行并完成。但在用户界面中，作业会一直保留，直到我们通过用户界面中止它。这似乎并不常见，可能在5%的工作中。这可能是jenkins的错误，可能是重新加载配置的问题，也可能是节点上的流量过大。我真的不确定。因为所有的“buggy”工作都有一个带条纹的进度条，这可能是一个线索。 带条纹的进度条是什么意思？ 如果您对该漏洞的来源有任何其他建议，我们将不胜感激。