spark流媒体应用程序和kafka log4j appender问题

Question

我正在测试我的火花流应用程序，我在我的代码中有多个函数：-其中一些在DStream[RDD[XXX]上运行，其中一些在RDD[XXX]上运行（在我做DStream.foreachRDD之后）。

我使用Kafka log4j appender来记录发生在我的函数中的业务案例，这些案例在DStream[RDD]上运行

但只有当来自于在RDD上运行的函数时，数据才会附加到Kafka-

有人知道这种行为的原因吗？

我在一台虚拟机上工作，在那里我有Spark

编辑

事实上，我已经解决了问题的一部分。数据仅从我的主函数中的代码部分附加到Kafka。所有的代码，是在我的主，不写数据Kafka。

大体上，我是这样声明记录器的：

val kafkaLogger = org.apache.log4j.LogManager.getLogger("kafkaLogger")

在我的主要任务之外，我必须这样声明：

@transient lazy val kafkaLogger = org.apache.log4j.LogManager.getLogger("kafkaLogger")

以避免序列化问题。

原因可能是JVM序列化概念的背后，或者仅仅是因为工作人员看不到log4j配置文件（但我的log4j文件在我的源代码中，在资源文件夹中）

编辑2

我尝试了很多方式发送log4j文件给执行者，但不工作。我试过：

>

在spark submit中设置：--conf“spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/home/vagrant/log4j.properties”

设置log4j。spark submit的驱动程序类路径中的属性文件。。。

这些选项都不起作用。

有人有解决办法吗？我在错误日志中没有看到任何错误。。

非常感谢。

Answer 1

我想你很接近。。首先，要确保使用--files标志将所有文件导出到所有节点上的工作目录（而不是类路径）。然后您希望将这些文件引用到executors和driver的classpath选项。我已经附加了以下命令，希望对您有所帮助。关键是要理解一旦导出了文件，就可以使用工作目录的文件名（而不是url路径）在节点上访问所有文件。

注意：将log4j文件放入资源文件夹将不起作用（至少当我尝试时，它没有）。

sudo -u hdfs spark-submit --class "SampleAppMain" --master yarn --deploy-mode cluster --verbose --files file:///path/to/custom-log4j.properties,hdfs:///path/to/jar/kafka-log4j-appender-0.9.0.0.jar --conf "spark.driver.extraClassPath=kafka-log4j-appender-0.9.0.0.jar" --conf "spark.executor.extraClassPath=kafka-log4j-appender-0.9.0.0.jar"  --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=custom-log4j.properties" --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=custom-log4j.properties"  /path/to/your/jar/SampleApp-assembly-1.0.jar