如何在Apache Spark中使用log4j输出主机名？

Question

我的代码和配置如下。当我将spark作业提交到集群时，它适用于本地主机模式，但不适用于集群。

System.setProperty("hostName", InetAddress.getLocalHost().getHostName());
static Logger logger = Logger.getLogger(App.class.getName());

log4j.rootCategory=INFO, CONSOLE
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.target=System.err
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.ConversionPattern=${hostName} %d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

有人能帮我吗？
谢谢。

Answer 1

首先，你实际上没有使用'logger'，你必须添加以下内容：

logger.info(InetAddress.getLocalHost().getHostName())

其次，您最好分析$SPARK_HOME$/logs文件夹中的日志。