用Log4j v1 Kafka appender实现对Kafka的APAche火花日志记录

Question

我可以在Spark的log4j.properties中使用与我的虚拟应用程序中相同的设置来配置appender。

但是当Spark shell启动时，它似乎在加载任何额外的jar之前就启动了记录器，然后立即抛出一个错误，因为它找不到Kafka appender：

log4j:错误无法实例化类[kafka.producer.kafkalog4jappender]。ClassNotFoundException:kafka.producer.Kafkalog4Jappender

Answer 1

我设法在cluster模式下使用spark-submit 2.1.1，并使用kafka-log4j-appender 2.3.0，但我相信其他版本也会有类似的行为。

首先，我认为阅读日志真的很有帮助，所以您需要能够阅读应用程序纱线日志和spark-submit信息。有时，当应用程序在accept阶段挂起时（因为kafka生产者配置失误），需要从Hadoop Yarn应用程序概述中读取日志。

所以每当我启动我的应用程序时，抓取

19/08/01 10:52:46 INFO yarn.Client: Application report for application_1564028288963_2380 (state: RUNNING)

完成时从YARN行并下载所有日志

yarn logs -applicationId application_1564028288963_2380

好，让我们试试！

基本上，spark缺少kafka-log4j-appender。

kafka-log4j-appender-2.3.0.jar
kafka-clients-2.3.0.jar

JARS='/absolute/path/kafka-log4j-appender-2.3.0.jar,/absolute/path/kafka-clients-2.3.0.jar'
JARS_CLP='/absolute/path/kafka-log4j-appender-2.3.0.jar:/absolute/path/kafka-clients-2.3.0.jar'
JARS_NAMES='kafka-log4j-appender-2.3.0.jar:kafka-clients-2.3.0.jar'

spark-submit \
    --deploy-mode client \
    --jars "$JARS"
    --conf "spark.driver.extraClassPath=$JARS_CLP" \
    --conf "spark.executor.extraClassPath=$JARS_NAMES" \

spark-submit \
    --deploy-mode cluster \
    --jars "$JARS"
    --conf "spark.driver.extraClassPath=$JARS_NAMES" \
    --conf "spark.executor.extraClassPath=$JARS_NAMES" \

19/11/15 19:44:08 INFO yarn.Client: Uploading resource file:/srv/cortb/home/atais/.ivy2/jars/org.apache.kafka_kafka-log4j-appender-2.3.0.jar -> hdfs:///user/atais/.sparkStaging/application_1569430771458_10776/org.apache.kafka_kafka-log4j-appender-2.3.0.jar
19/11/15 19:44:08 INFO yarn.Client: Uploading resource file:/srv/cortb/home/atais/.ivy2/jars/org.apache.kafka_kafka-clients-2.3.0.jar -> hdfs:///user/atais/.sparkStaging/application_1569430771458_10776/org.apache.kafka_kafka-clients-2.3.0.jar

并记下如何在HDFS上的application_1569430771458_10776文件夹中调用jar。

现在为客户端模式

JARS_CLP='/srv/cortb/home/atais/.ivy2/jars/org.apache.kafka_kafka-log4j-appender-2.3.0.jar:/srv/cortb/home/atais/.ivy2/jars/org.apache.kafka_kafka-clients-2.3.0.jar'
KAFKA_JARS='org.apache.kafka_kafka-log4j-appender-2.3.0.jar:org.apache.kafka_kafka-clients-2.3.0.jar'

spark-submit \
    --deploy-mode client \
    --packages "org.apache.kafka:kafka-log4j-appender:2.3.0"
    --conf "spark.driver.extraClassPath=$JARS_CLP" \
    --conf "spark.executor.extraClassPath=$KAFKA_JARS" \

或者对于群集模式

spark-submit \
    --deploy-mode cluster \
    --packages "org.apache.kafka:kafka-log4j-appender:2.3.0"
    --conf "spark.driver.extraClassPath=$KAFKA_JARS" \
    --conf "spark.executor.extraClassPath=$KAFKA_JARS" \