Apache Kafka-Log4j-Appender未在spark群集模式下工作

Question

我尝试将spark应用程序驱动程序/执行程序日志发送到kafka topic。它在Eclipse中工作
在部署群集模式时，它会显示

ClassNotFoundException。

我添加了火花核心，火花sql，火花流kafka，火花流，kafka流和kafka-log4j-appendermaven，但它仍然显示

组织。阿普切。Kafka。log4jappender类NotFoundException。

在服务器中，运行jar自身的spark程序中并没有与Kafka相关的jar。

请告诉任何人为什么不在集群模式下从spark driver/executor向kafka topic发送日志。

我也尝试了下面提到的链接步骤，

spark流媒体应用程序和kafka log4j appender问题

og4j.rootLogger=INFO, console, KAFKA, file

log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
log4j.appender.KAFKA=org.apache.kafka.log4jappender.KafkaLog4jAppender
log4j.appender.KAFKA.topic=test2
log4j.appender.KAFKA.name=localhost
log4j.appender.KAFKA.host=localhost
log4j.appender.KAFKA.port=9092
log4j.appender.KAFKA.brokerList=localhost:9092
log4j.appender.KAFKA.compressionType=none
log4j.appender.KAFKA.requiredNumAcks=0
log4j.appender.KAFKA.syncSend=true
log4j.appender.KAFKA.layout=org.apache.log4j.PatternLayout
log4j.appender.KAFKA.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L %% - %m%n
log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.File=log4j-application.log
log4j.appender.file.MaxFileSize=5MB``
log4j.appender.file.MaxBackupIndex=10
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-M` `M-dd` ` HH:mm:ss} %-5p %c{1}:%L - %m%n` `

如何通过kafka-log4j-appender-2.3.0发送火花驱动/执行器日志到kafka主题使用log4j.properties.

Answer 1

我设法在集群模式下使用kafka-log4j-appender 2.3.0，但是我相信其他版本也会有类似的行为。

基本上，spark缺少kafka-log4j-appender。

一般来说，你应该能够在你的胖罐子里提供kafka-log4j-appender。我以前有过类似的问题，它不起作用。仅仅是因为在集群环境中，类路径被Spark覆盖。所以如果它对你也不起作用，继续前进。

kafka-log4j-appender-2.3.0.jar
kafka-clients-2.3.0.jar

你实际上两者都需要，因为appender没有客户端就无法工作。
把它们放在你解雇的同一台机器上。
好处是，你可以随心所欲地命名它们。

现在为客户端模式

JARS='/absolute/path/kafka-log4j-appender-2.3.0.jar,/absolute/path/kafka-clients-2.3.0.jar'
JARS_CLP='/absolute/path/kafka-log4j-appender-2.3.0.jar:/absolute/path/kafka-clients-2.3.0.jar'
JARS_NAMES='kafka-log4j-appender-2.3.0.jar:kafka-clients-2.3.0.jar'

spark-submit \
    --deploy-mode client \
    --jars "$JARS"
    --conf "spark.driver.extraClassPath=$JARS_CLP" \
    --conf "spark.executor.extraClassPath=$JARS_NAMES" \

或用于集群模式

spark-submit \
    --deploy-mode cluster \
    --jars "$JARS"
    --conf "spark.driver.extraClassPath=$JARS_NAMES" \
    --conf "spark.executor.extraClassPath=$JARS_NAMES" \

我认为这更方便，但你必须准确地知道名字。

在跑步过程中，您需要寻找这些类型的线条：

19/11/15 19:44:08 INFO yarn.Client: Uploading resource file:/srv/cortb/home/atais/.ivy2/jars/org.apache.kafka_kafka-log4j-appender-2.3.0.jar -> hdfs:///user/atais/.sparkStaging/application_1569430771458_10776/org.apache.kafka_kafka-log4j-appender-2.3.0.jar
19/11/15 19:44:08 INFO yarn.Client: Uploading resource file:/srv/cortb/home/atais/.ivy2/jars/org.apache.kafka_kafka-clients-2.3.0.jar -> hdfs:///user/atais/.sparkStaging/application_1569430771458_10776/org.apache.kafka_kafka-clients-2.3.0.jar

并记下如何在hdfs上的application_1569430771458_10776文件夹中调用jar。

现在进入客户端模式

JARS_CLP='/srv/cortb/home/atais/.ivy2/jars/org.apache.kafka_kafka-log4j-appender-2.3.0.jar:/srv/cortb/home/atais/.ivy2/jars/org.apache.kafka_kafka-clients-2.3.0.jar'
KAFKA_JARS='org.apache.kafka_kafka-log4j-appender-2.3.0.jar:org.apache.kafka_kafka-clients-2.3.0.jar'

spark-submit \
    --deploy-mode client \
    --packages "org.apache.kafka:kafka-log4j-appender:2.3.0"
    --conf "spark.driver.extraClassPath=$JARS_CLP" \
    --conf "spark.executor.extraClassPath=$KAFKA_JARS" \

或用于集群模式

spark-submit \
    --deploy-mode cluster \
    --packages "org.apache.kafka:kafka-log4j-appender:2.3.0"
    --conf "spark.driver.extraClassPath=$KAFKA_JARS" \
    --conf "spark.executor.extraClassPath=$KAFKA_JARS" \

如果您想提供日志记录。业主，请按照我的教程进行操作：https://stackoverflow.com/a/55596389/1549135