当前位置: 首页 > 知识库问答 >
问题:

在独立flink集群中提交flink作业时,如何指定不同于守护程序日志文件的日志文件

龚铭
2023-03-14

当我启动flink独立集群时,它会将守护程序日志记录在conf/log4j中提到的文件中。属性文件,当我在该集群中提交flink作业时,它使用相同的属性文件记录应用程序日志,并在TaskManager上写入相同的日志文件。我想为在flink独立集群中提交的每个应用程序提供单独的日志文件。有没有办法做到这一点

共有1个答案

孙才捷
2023-03-14

使用提交作业时/bin/flink shell脚本,使用以下环境变量控制日志文件位置:

  • FLINK\u LOG\u DIR指定日志将出现的目录
  • FLINK\u IDENT\u字符串允许您使文件名唯一

例如,如果你开始工作时

FLINK_LOG_DIR=/var/log FLINK_IDENT_STRING=my_app_id ./bin/flink run /path/to/the.jar

然后日志将出现在 /var/log/flink-my_app_id-client-$HOSTNAME. log中

请注意,这仅适用于通过日志框架记录的消息,而不适用于刚刚打印到标准输出的内容。

 类似资料:
  • 最近,我在使用logback.xml作为日志记录时,在独立集群模式下的Flink日志记录中遇到了一个问题。我的要求是,我的所有作业都应该登录到特定的文件夹中,我的flink框架日志应该放在单独的文件夹中,而且对于在我的flink集群中运行的每个作业,应该有单独的文件夹用于不同的作业。我在我的本地集群中测试了它,它运行良好,我得到了所有的日志,与我提交的Flink作业相关的单独文件夹,但一旦我在独立

  • 当我们在一个纱线会话中运行多个flink作业时。我们发现所有作业的日志都写入同一个文件“taskmanager.log”,我们很难检查特定作业的日志。有没有办法把它们分开? 除此之外,如果我们的flink作业长时间运行,如何根据日期分离日志文件?

  • 如何编写一个简单的log4j2.xml文件,将不同级别的日志放入不同的文件中? 例如,我们有错误日志,任何信息日志,我需要将所有错误日志消息推入一个日志文件,所有信息日志消息推入另一个文件。 我怎么做?

  • 在log4j中,我可以这样指定文件: 但是在log4j2中,我不知道如何在一个句子中重写

  • 我有一个flink作业,它使用logback作为日志框架,因为日志需要发送到logstash,logback有一个logstash appender(logstash logback appender)。appender工作正常,当flink作业从Eclipse这样的IDE运行时,我可以在logstash中看到应用程序日志。日志记录配置文件logback。xml放在src/main/resourc

  • 在ResourceManager节点上启动flink作业(查找配置文件) 从ResourceManager下载配置文件到本地。 我想,这两种方式都不太好。如何将作业提交到远程纱线集群。有没有合适的办法?