spark-submit log4j配置在spark上下文中没有影响

Question

spark-submit \
    --master local \
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties"\
    --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.properties"\
    --py-files ./dist/src-1.0-py3-none-any.whl\
    --files "/job/log4j.properties"\ # path in docker container
     main.py -input $1 -output $2 -mapper $3 $4 # app args

dockerized应用程序结构为：

job/
|--  entrypoint.sh
|--  log4j.properties
|--  main.py

我得到以下错误：

log4j:忽略配置文件[file://log4j.properties]时出错。log4j:错误无法从URL[file://log4j.properties]读取配置文件。

logger = sc._jvm.org.apache.log4j.Logger
sc._jvm.org.apache.log4j.PropertyConfigurator.configure("/job/log4j.properties")
Logger = logger.getLogger("MyLogger")

log4jLogger = sc._jvm.org.apache.log4j
logger = log4jLogger.LogManager.getLogger("MyLogger")

Answer 1

由于您在容器中并使用--master local，这将您限制为本地文件系统，您可以从file://URI访问该文件系统。

--files从运行命令的位置获取文件所在位置的相对路径，并添加到驱动程序/执行程序类路径

将这两个信息放在一起，可以指定

-Dlog4j.configuration=file:///job/log4j.properties

--files "/job/log4j.properties"