在dataproc上，调整Spark日志级别的最优雅、最健壮的方法是什么？

Question

正如前面的回答中所解释的，更改Spark cluster详细信息的理想方法是更改相应的log4j。财产。但是，在dataproc上，Spark在Thread上运行，因此我们必须调整全局配置，而不是/usr/lib/Spark/conf

若干建议：

在dataproc上，我们有几个gcloud命令和属性可以在集群创建期间传递。如有可能更改log4j，请参阅文档。在/etc/hadoop/conf下指定

--properties 'log4j:hadoop.root.logger=WARN,console'

也许不是，从文档中可以看出：

--properties命令无法修改上面未显示的配置文件。

另一种方法是在集群初始化期间使用shell脚本并运行sed：

# change log level for each node to WARN
sudo sed -i -- 's/log4j.rootCategory=INFO, console/log4j.rootCategory=WARN, console/g'\
                     /etc/spark/conf/log4j.properties
sudo sed -i -- 's/hadoop.root.logger=INFO,console/hadoop.root.logger=WARN,console/g'\
                    /etc/hadoop/conf/log4j.properties

但是这足够了吗？或者我们需要更改环境变量hadoop吗。根你也是吗？

Answer 1

最近，通过--properties标签添加了对log4j属性的支持。例如：您现在可以使用“-properties'hadoop-log4j:hadoop.root.logger=WARN，console'”。请参阅本页(https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/cluster-properties)欲知详情

Answer 2

目前，您是对的，--properties不支持额外的log4j设置，但这肯定是我们讨论过的添加内容；一些注意事项包括，与保持最小/简单的设置（以共享的方式对所有内容进行检查）相比，如何平衡对Spark、Thread和其他长时间运行的守护程序的日志配置（hiveserver2、HDFS守护程序等）进行细粒度控制的能力。

至少对于Spark驱动程序日志，您可以使用--drier-log-level设置作业提交时间，该时间应优先于任何/etc/*/conf设置，但如您所述，初始化操作是合理的在群集启动时编辑文件的方法，请记住它们可能会随着时间的推移和发布而改变。