从log4j中分离Logback中的应用程序日志和Spark日志

Question

        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.1.7</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>log4j-over-slf4j</artifactId>
            <version>1.7.7</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>log4j</groupId>
                    <artifactId>log4j</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

  val logger: Logger = LoggerFactory.getLogger(this.getClass)
  val sc: SparkContext = new SparkContext()
  val rdd = sc.textFile("myFile.txt")

  val slb: StaticLoggerBinder = StaticLoggerBinder.getSingleton
  System.out.println("Logger Instance: " + slb.getLoggerFactory)
  System.out.println("Logger Class Type: " + slb.getLoggerFactoryClassStr)

Logger Instance: org.slf4j.impl.Log4jLoggerFactory@a64e035
Logger Class Type: org.slf4j.impl.Log4jLoggerFactory

我知道log4j-1.2.17.jar和slf4j-log4j12-1.7.16.jar都在/usr/local/Spark/jars中，尽管在pom.xml中排除了这些jar，但Spark很可能引用了这些jar，因为如果删除它们，在spark-submit的运行时会给出一个ClassNotFoundException。

我的问题是：有没有一种方法可以在我的应用程序中使用Logback实现本机日志记录，同时保留Spark的内部日志记录功能。理想情况下，我希望将我的日志返回应用程序日志写到一个文件中，并允许Spark日志仍然在stdout中显示。

Answer 1

我也遇到过类似的问题。

我们的构建与您的类似（但是我们使用了sbt)，详细描述如下:https://stackoverflow.com/a/45479379/1549135

在本地运行这个解决方案很好，但是spark-submit将忽略所有排除和新的日志框架(logback)，因为Spark的类路径优先于部署的JAR。因为它包含log4j1.2.xx，所以它只需加载它并忽略我们的设置。

extraclasspath

额外的类路径条目，以预置到执行器的类路径。它的存在主要是为了向后兼容较旧版本的Spark。用户通常不需要设置此选项。

这里没有写的是extraclasspath优先于默认Spark的类路径！

- log4j-over-slf4j-1.7.25.jar
- logback-classic-1.2.3.jar
- logback-core-1.2.3.jar

libs="/absolute/path/to/libs/*"

spark-submit \
  ...
  --master yarn \
  --conf "spark.driver.extraClassPath=$libs" \
  --conf "spark.executor.extraClassPath=$libs" \
  ...
  /my/application/application-fat.jar \
  param1 param2

但简单地设置：

--conf "spark.driver.userClassPathFirst=true" \
--conf "spark.executor.userClassPathFirst=true" \

对我不起作用。所以我很乐意使用extraclasspath！

干杯！