自定义源/接收器配置无法识别

Question

我已经为我的Spark流应用程序编写了我的自定义度量源/接收器，我正试图从metrics.properties初始化它——但这在executors上不起作用。我不能控制Spark集群中的机器，所以我不能复制集群中$SPARK_HOME/conf/中的属性文件。我把它放在我的应用程序所在的fat jar中，但是当我的fat jar被下载到集群中的worker节点上时，executors已经被启动了，它们的度量系统也已经被初始化了——因此没有选择我的包含定制源代码配置的文件。

在这篇文章之后，我指定了“spark.文件 = 指标属性”和“spark.metrics.conf=metrics.属性”，但是当“metrics.properties”交付给执行程序时，他们的度量系统已经初始化。

如果我初始化我自己的度量系统，它会拾取我的文件，但我会丢失主/执行器级别的度量/属性（例如executor.sink.mySink.propName=myProp-无法从“mySink”读取“propName”），因为它们是由Spark的度量系统初始化的。

在执行者初始化他们的度量系统之前，有没有一个(编程的)方法来发布“metrics.properties ”?

更新1:我正在独立的Spark 2.0.0集群上进行尝试

更新2：在实现这个目标时考虑了黑客——在开始你的“实际”火花作业之前，开始一个虚拟作业，在每个工人身上复制metrics.properties。然后用预先知道的文件位置开始你的实际工作。缺点——如果一个工人死了，另一个工人取代了它，它不会把这个文件放在预先知道的路径上。解决方案替代方案——当一台新的工人机器启动时，它也会从你的git-repo中拉metrics.properties，并把它放在预先知道的路径上。虽然它可能有效，但它非常复杂，一个首选的解决方案是让Spark在内部支持它。

Answer 1

SparkConf仅加载本地系统属性，如果它们以前缀火花开头。，你有托盘来加载你的属性添加火花吗？

Answer 2

请参阅Wordcount示例中的Spark指标。基本上，我认为您需要添加--files才能将metrics.properties发送给所有工作人员。