当前位置: 首页 > 知识库问答 >
问题:

从1.0.0开始在Spark UI中查看工作人员/执行者日志

高化
2023-03-14

在0.9.0查看工作日志很简单,他们一键远离火花用户界面主页。

现在(1.0.0)我找不到它们。此外,当我的工作崩溃时,SparkUI停止工作!这很烦人,只有当您的应用程序不需要调试时才工作的调试工具有什么意义。根据http://apache-spark-user-list.1001560.n3.nabble.com/Viewing-web-UI-after-fact-td12023.html我需要找出我的主url是什么,但我不知道如何,Spark在启动时不会吐出此信息,它只是说:

... -Dspark.master=\"yarn-client\" ...

显然<代码>http://yarn-client:8080不起作用。一些网站谈到,现在的in-Thread查找日志是如何被超级混淆的——而不仅仅是在UI上,你必须登录到框中才能找到它们。当然,这是一个大规模的倒退,必须有一个更简单的方法??

我怎么才能知道主URL是什么?如何找到我的工作人员(现在称为executor)日志?

共有2个答案

广绪
2023-03-14

这些答案记录了如何从命令行或UI找到它们

火花纱线中的原木在哪里?

UI在边缘节点

在 /etc/hadoop/conf/yarn-site.xml中查找纱线资源管理器URI(yarn.resourcemanager.webapp.address)。

或使用命令行:

yarn logs -applicationId [OPTIONS]
慕璞
2023-03-14

根据您对YARN NodeManager日志聚合的配置,火花作业日志会自动聚合。运行时日志通常通过以下方式找到:

火花主日志

如果您使用的是纱线集群,请转到纱线调度器web UI。你可以在那里找到Spark Master日志。工作描述页面“日志”按钮提供内容。

使用yarn-Client,驱动程序在您的Spark提交命令中运行。然后您看到的是驱动程序日志,如果log4j.properties配置为以stderr或stdout输出。

火花执行日志

在驱动程序日志中搜索“executorHostname”。有关更多详细信息,请参见注释。

 类似资料:
  • 我试图找出明星日期和结束日期的员工时钟。以下是我所掌握的数据示例。 需要输出: 我必须根据eventtime和activitycode找到此人的开始日期和结束日期。开始日期将是事件时间列,我必须从行中下一个事件时间的同一列计算结束日期。 我曾尝试在T-SQL中使用lead函数,但它并没有给出我想要的结果。 如果有人知道如何处理这个问题,我会非常感激。

  • 问题内容: 传统上,我使用FireBug调试AJAX请求。它使您既可以检查请求的内容,也可以检查从服务器发回的响应。(当这些情况发生时,它还会在控制台中通知您,这是Chrome似乎缺少的有用功能)。 在Chrome中,我似乎只能查看请求,而不能查看响应。当我尝试检查响应时,UI只会显示“无可用内容”(开发人员工具>资源> myRequest.php>内容)。我是否必须打开电源才能使Chrome开发

  • 我正在寻找如何使用IE11开发工具查看cookie集。我在network profiling中看到一个选项,可以查看来回发送的cookie,但这实际上不是一回事。因为它是按请求使用的,所以使用起来很麻烦。当然,一定有一种方法可以像在IE10中一样查看所有的cookie。

  • 我有一份Spring批量申请,只有一份工作。作业执行顺序对我来说至关重要,因此配置为单线程作业池。换句话说,如果触发的执行很少,则一个执行正在运行,另一个将在队列中等待。 作业执行表将如下所示: 如果JVM崩溃,我需要从该状态恢复并进行一些审计,因此我需要找到所有和执行。 找到第一个不是问题,我可以用做到: 它只会给我执行当前。但是如何找到所有开始执行的

  • 我想有一个固定行数的recyclerView,不可滚动,每行有一个固定的高度,以及填充所有屏幕。例如,我有4行,所以行高应该是recyclerView height/4。 行布局。xml 回收人员视图: java代码: 有什么想法吗?

  • var_dump(xlswriter_get_author()); ​ // 输出:string(26) "Jiexing.Wang ([email protected])"