如何使用自定义StatsD Spark指标接收器配置执行器
如何将Spark Streaming指标汇到执行者的StatsD汇？
类似于其他报告的问题(未找到接收器类，接收器类在执行器中)，我可以获得驱动程序指标，但执行器在我的设置中抛出< code > ClassNotFoundException :
> < li>StatsD sink类是用我的Spark-Streaming应用程序(< code>my.jar)编译的 < li>
spark-submit运行时使用:
--files./my.jar（将包含接收器的jar拉入执行器）--conf"spark.executor.extraClassPath=my.jar"
Spark Conf在驱动程序中配置为:
val conf = new SparkConf()
conf.set("spark.metrics.conf.*.sink.statsd.class",
"org.apache.spark.metrics.sink.StatsDSink")
.set("spark.metrics.conf.*.sink.statsd.host", conf.get("host"))
.set("spark.metrics.conf.*.sink.statsd.port", "8125")
共有2个答案
将jar文件复制到$SPARK_HOME/jars文件夹。
看起来你中了错误https://issues.apache.org/jira/browse/SPARK-18115.我也中了，谷歌了你的问题：（
-
问题内容： 我有一个Dockerfile和自定义Nginx配置文件（与Dockerfile位于同一目录中），如下所示： Dockerfile： nginx.conf文件： 我运行以下两个命令： 然后，我签出了所有正在运行的容器，但没有显示出来。当我搜索nginx容器的日志时，发现以下错误消息： [emerg] 1＃1：/etc/nginx/nginx.conf中的未知指令“上游”：1 nginx：
-
我想使用actuator为我的spring boot rest web服务实现自定义度量或统计信息，但我找不到简单的教程。例如： 如何显示某个控制器被调用了多少次以及填充了什么确切的参数字段？ 我如何创建一个指标，当它的URL被调用时，它会运行某些查询并显示带有某些结果的json
-
我已经为我的Spark流应用程序编写了我的自定义度量源/接收器，我正试图从metrics.properties初始化它——但这在executors上不起作用。我不能控制Spark集群中的机器，所以我不能复制集群中$SPARK_HOME/conf/中的属性文件。我把它放在我的应用程序所在的fat jar中，但是当我的fat jar被下载到集群中的worker节点上时，executors已经被启动了，
-
我有一个用例，需要跟踪给定组件的处理时间指标，并将其用作spring boot应用程序中调优的反馈循环。我想我应该在需要监视的组件中通过一个自动连接的计量服务使用一个自定义指标，该服务工作正常，我可以在/指标endpoint中看到我的指标。我遇到的问题是如何在应用程序代码中使用这些指标。理想情况下，我希望收到每个仪表提交的结果，并计算加权移动平均值。对于spring boot执行器指标来说，这不是
-
为什么Spark有一个工作节点和四个执行器，每个执行器有一个核心，却无法处理自定义接收器？？ 如果执行器在Spark Streaming中有一个单核，那么不通过自定义接收器处理传入数据的原因是什么？ 我正在独立模式下运行Spark。我在Spark流媒体应用程序的自定义接收器中获取数据。我的笔记本电脑有4个内核。 master="火花：//lappi： 7077" $spark_path/bin/s