当前位置: 首页 > 知识库问答 >
问题:

spark executor仪表板中的GC时间

陆宇航
2023-03-14

在spark executor仪表板页面中,

这有点混乱

任务时间是指在这个执行器中运行的所有任务的总和。它不与内核数量加权。所以我机器中的14.2 / 8 ( 8内核)=1.75h等于执行器的正常运行时间(挂钟)

我想知道,对于前面提到的GC时间,这是执行器中每个线程的总和吗?我是否必须将其除以8才能粗略估计整个遗嘱执行人接受GC的时间?

由于我们使用ParallelGC,我们想知道我的执行器是在停止世界41分钟还是41/8=5分钟?

共有1个答案

祁正阳
2023-03-14

GC time是JVM垃圾收集的总时间。请参阅以下文档。[https://spark.apache.org/docs/latest/web-ui.html][1]

此外,可以使用SparkListeners收集相同的指标,我们将了解每个任务上花费了多少时间[cpu时间gc时间序列化时间等],从而提供更多细节。信息发布。https://medium.com/@hareesha1906/apache-spark-job-monitoring-f2332ef50915

 类似资料:
  • 共享仪表板 您也可以向其他用户共享一个 Kibana 仪表板的链接,或者将仪表板嵌入到网页中。用户必须具有 Kibana 权限才能访问嵌入式仪表板。 如何分享一个仪表板: 点击侧边导航栏中的 Dashboard 。 打开您想共享的仪表板。 点击 Share 。 复制您想分享的链接或者您想嵌套的 iframe。您可以分享动态仪表板或者当前时间点的静态快照。 当共享仪表板快照链接的时候,请使用 Sho

  • 加载仪表板 如何打开一个保存的仪表板: 点击侧边导航栏中的 Dashboard 。 选中一个仪表板并点击 Open 。如果您有很多仪表板,您可以敲入 Filter 字符串来过滤仪表板列表。 要导入、导出和删除仪表板,请点击 Manage Dashboards 链接打开 Management/Kibana/Saved Objects/Dashboards 。

  • “概览”仪表板页面显示 Navicat Monitor 监控的所有实例。你可以获取高级摘要信息和实例的健康状态,识别需要重点关注的实例。 实例卡片 通过实例卡片你可以识别服务器状态和系统资源使用率。若要创建一个新实例来监控你的服务器,请点击“+ 新建实例”并选择服务器类型。然后,在新建实例窗口中输入适当的信息。请参阅创建实例的详细信息。 默认情况下,实例卡片显示所有可用的系统资源使用率。点击“卡片

  • 你可以在整个屏幕上显示仪表板。在此模式下,标题栏、工具栏、选项卡栏、页面窗格、控件列表和属性窗格将被隐藏。若要以显示视图打开仪表板,请点击 “显示”。 如果你在仪表板上添加了控件图表,则可以使用控件筛选所有图表的数据系列。 若要退出显示视图,请按 ESC 键,工作区窗口将返回其先前状态。

  • 创建仪表板的基本步骤: 在工作区窗口中,点击 “新建仪表板”。 输入仪表板的名。 点击“确定”。 一个选项卡将打开,让你编辑仪表板。 设计你的仪表板。 在右窗格中选择可以进一步自定义仪表板的属性。 【注意】每个对象都有不同的属性。 【提示】你可以刷新仪表板,以使用来自各自数据源的最新数据来更新图表中的数据。若要手动刷新仪表板,请单击 “刷新数据”。 使用网格 显示网格 若要在仪表板启用网格,从菜单

  • 仪表板是图表的集合,可让你创建和查看数据可视化。当你修改图表时,包含该图表的所有仪表板都将反映所做的更改。 页面窗格 页面窗格显示仪表板中每个页面的缩略图。如果页面窗格已隐藏,从菜单栏选择“查看”->“显示页面”。 仪表板工具栏 仪表板工具栏提供可用于刷新数据和显示仪表板的控件。 控件列表窗格 控件列表窗格让你设计仪表板,例如添加图表、标签、图像。如果控件列表窗格已隐藏,从菜单栏选择“查看”->“