使用prometheus jmxexporter获取spark2集群度量
我们正试图用普罗米修斯来获取火花指标。我们使用jmx导出器jmx_prometheus_javaagent-0.12.0.jar。
./spark-submit--监督--部署模式集群--conf'spark.driver.extrajavaoptions=-javaagent:jars/jmx_prometheus_javaagent-0.12.0.jar=8060:/conf/spark.yml spark.executor.extrajavaoptions=-javaagent://jars/jmx_prometheus_javaagent-0.12.0.jar=8061:jars/jmx_prometheus_javaagent-0.12.0.jar=8061:jark/spark.yml.apache.spark.examples.sparktc--master spark://host1:7077,host2:7077--executor-memory 1g--total-executor-cores 1/spark/spark-2.4.0-bin-hadoop2.7/examples/jars/spark-examples2.11-2.4.0.jar 1
我们在设置或命令中遗漏了什么吗？
共有1个答案
需要打开安装程序中缺少的jmx端口…
遵循https://argus-sec.com/monitoring-spark-prometheus/并可以获得度量标准。
-
有人能建议从节点集群收集指标的最佳模式吗（每个节点都是带有Java应用程序的Tomcat Docker容器）？ 我们计划使用ELK堆栈（ElasticSearch、Logstash、Kibana）作为可视化工具，但我们的问题是如何将指标交付给Kibana？ 我们使用DropWizard度量库，它提供每个实例的度量(量表、计时器、直方图)。 显然，应该收集每个实例的一些指标(例如，cpu、内存等..
-
在Spark2.1文档中提到 如何解释这些（冲突？）一些信息？
-
Heapster作为kubernetes安装过程中默认安装的一个插件，见安装heapster插件。这对于集群监控十分有用，同时在Horizontal Pod Autoscaling中也用到了，HPA将Heapster作为Resource Metrics API，向其获取metric，做法是在kube-controller-manager 中配置--api-server指向kube-aggregat
-
我目前使用的是Kafka connect集群，它有两个节点，使用的是同一个 当使用curl/connectors时，我可以获得创建的连接器列表，但我看不到有关活动节点的信息，健康检查。。。
-
我们使用Spring来运行调度任务，这在单节点上运行良好。我们希望在由N个节点组成的集群中运行这些计划任务，以便任务在一个时间点由一个节点执行。这是针对企业用例的，我们预计最多会有10到20个节点。 我研究了各种选择： 使用Quartz，这似乎是在集群中运行计划任务的流行选择。缺点：我想避免数据库依赖。 使用zoowatch，并且总是只在领导/主节点上运行计划的任务。缺点：任务执行负载没有分布 在
-
我将使用嵌入在 JBoss EAP 6.2 中的 HornetQ 2.3.12，并且需要一些集群队列。 我是否需要设置 JBoss 集群才能让 JMS 集群由大黄蜂 Q 提供支持，或者大黄蜂 Q 是独立的？根据文档，我认为是后者，因为大黄蜂Q集群是大黄蜂Q的一部分，可以在没有JBoss的情况下存在。 节点通过核心网桥连接，因此部署在每个节点中的应用程序将对队列名称执行本地 JNDI 查找，而无需集