Dataproc：配置火花驱动程序和执行程序 log4j 属性

Question

如前所述，更改Spark集群冗长性的理想方法是更改相应的log4j.properties。然而，在dataproc上，Spark在Yarn上运行，因此我们必须调整全局配置，而不是/usr/lib/Spark/conf

几点建议：

在dataproc上，我们有几个gcloud命令和属性可以在集群创建过程中传递。请参阅留档是否可以通过指定更改 /etc/hadoop/conf下的log4j.properties

--properties 'log4j:hadoop.root.logger=WARN,console'

也许不是，正如文档中所说：

- properties命令不能修改上面未显示的配置文件。

另一种方法是在群集初始化期间使用 shell 脚本并运行 sed：

# change log level for each node to WARN
sudo sed -i -- 's/log4j.rootCategory=INFO, console/log4j.rootCategory=WARN, console/g'\
                     /etc/spark/conf/log4j.properties
sudo sed -i -- 's/hadoop.root.logger=INFO,console/hadoop.root.logger=WARN,console/g'\
                    /etc/hadoop/conf/log4j.properties

但是这足够了吗？还是我们也需要改变环境变量hadoop.root.logger？

Answer 1

2022年第3季度更新

数据进程中火花的默认 log4j 配置可在 /etc/火花/配置/log4j.属性中使用。它将根记录器配置为在 INFO 级别进行记录。但在运行时，驱动程序日志（在客户端模式下）将由 Dataproc 代理定向到 GCS 并流式传输回客户端，并且执行器日志（以及集群模式下的驱动程序日志）将由 YARN 重定向到容器的 YARN 日志目录中的 stderr 文件。请参阅此答案，了解如何获取数据过程的 YARN 容器日志。

考虑使用/etc/spark/conf/log4j。属性作为自定义配置的模板，并继续使用控制台作为日志的目标。

如果要在集群级别配置Spark驱动程序和执行器日志，最简单的方法是添加--properties Spark-log4j：

在提交作业时，还可以使用以下任一方式在作业级别配置 Spark 驱动程序和/或执行程序日志：

1. --驱动程序日志级别（仅适用于驱动程序），例如：

gcloud dataproc jobs submit spark ...\
  --driver-log-levels root=WARN,org.apache.spark=DEBUG

--files。如果驱动程序和执行程序可以共享相同的log4j配置，那么gcloud dataproc作业提交火花…--files gs：//my-桶/log4j.properties将是最简单的。注意文件名应该完全是log4j.properties，这样它就可以覆盖默认的。

--文件和 --属性火花。驱动程序|executor].extraJavaOptions=-Dlog4j.configuration= （对于驱动程序和执行程序）。请注意，-Dlog4j.配置应设置为文件：

gcloud dataproc jobs submit spark ... \
  --files gs://my-bucket/driver-log4j.properties,gs://my-bucket/executor-log4j.properties \
  --properties 'spark.driver.extraJavaOptions=-Dlog4j.configuration=file:driver-log4j.properties,spark.executor.extraJavaOptions=-Dlog4j.configuration=file:executor-log4j.properties'

另请参见 https://spark.apache.org/docs/latest/running-on-yarn.html#debugging-your-application

Answer 2

最近，通过 --properties 标记添加了对 log4j 属性的支持。例如：您现在可以使用“--属性'hadoop-log4j：hadoop.root.logger=WARN，控制台'”。有关详细信息，请参阅此页面（https://cloud.google.com/dataproc/docs/concepts/configuring 群集/群集属性）

Answer 3

此答案已于2022年第三季度过时，请查看以下答案以获取最新信息

目前，你是对的 --属性不支持额外的 log4j 设置，但这肯定是我们已经讨论过添加的内容;一些考虑因素包括如何平衡对Spark vs Yarn进行细粒度控制的能力与其他长时间运行的守护程序的日志记录配置（hiveserver2，HDFS守护程序等），而不是保持最小/简单的设置，该设置以共享的方式通过所有设置。

至少对于Spark驱动程序日志，您可以使用--driver-log-level设置作业提交时间，该时间应优先于任何/etc/*/conf设置，但除此之外，正如您所描述的，init操作是目前在集群启动时编辑文件的合理方式，请记住它们可能会随着时间和版本而变化。