使用Spark关闭日志记录-提交[重复]

Question

我正在运行一个要提交的scala Spark应用程序vi spark-submit：

spark-submit --class "com.foo.bar.MyClass" \
         --master yarn \
         --driver-memory 1g \
         --executor-memory 1g \
         --num-executors 2 \
         --executor-cores 2 \
         --jars <path-to>/MyJar.jar \
                <path-to>/MyJar.jar

我已经尝试了我能想到或在这里找到的log4j的几乎所有配置，这里，这里，这里和这里等等。我在代码中添加了以下行：

Logger.getRootLogger().setLevel(Level.WARN)

println("Log level = " + LogManager.getRootLogger.getLevel())

总之，我可以更改这些设置中的任何一个，并且应用程序打印出日志级别的设置，但是无论如何，我从Spark获得了日志记录的MBs。

关于如何禁用Spark的所有详细日志记录，还有其他建议吗？

Answer 1

1. 从log4j.properties/template创建log4j-configurations.properties
2. 将其添加到项目的conf或configurations文件夹下
3. 使用spark-submit将下面的行添加到脚本中:

--conf 'spark.executor.extraJavaOptions=-Dlog4j.configuration=prop/file/location'\
--conf 'spark.driver.extraJavaOptions=-Dlog4j.configuration=prop/file/location'\