使用Python部分的不同模式格式化PyFlink应用程序的日志

Question

我有一个Python应用程序在PyFlink中运行。

有没有一种说法是“将此模式应用于python代码生成的日志，而将其他模式应用于其他所有日志？”

我想格式化来自我的Python代码的日志消息，以仅显示应用程序打印的消息（Log4j PatternLayout调用%m%n），但保留由其他Java类打印的日志消息，这些类不是我的代码，并提供一些额外的信息（打印消息的记录器的名称，时间...基本上，此布局 %d{yyyy-MM-dd HH：mm：ss，SSS} %-5p %-60c %x - %m%n）

我希望终端看起来像这样：

2022-05-19 16:48:31,765 INFO  org.apache.flink.api.SinkFunction [] - Hello from Java

This line is python logging (no date, no priority info, no logname)...

我对root logger使用了ConsoleAppender，我可以将其中的格式更改为< code>%m%n，这很有效，它只显示“Python端”的消息...但是它也适用于“Java端”。我的意思是:如果我这样做，我会丢失Java的额外信息。它看起来像是:

Hello from Java

This line is python logging (no date, no priority info, no logname)...

< sup > Java输出“错误”(无日期，无记录器名称...)，从Python "good "输出

如果我将根日志记录器的模式保持为< code>%d{yyyy-MM-dd HH:mm:ss，SSS} %-5p %-60c %x - %m%n，我的日志看起来像:

2022-05-19 16:48:31,765 INFO  org.apache.flink.api.SinkFunction [] - Hello from Java

2022-05-19 16:48:41,470 INFO  /app/borrajax/my_python_file.py:290  [] - This line is python logging (no date, no priority info, no logname)...

^{输出从Java好，输出从Python坏（额外的信息在左边）}

这是我的...log4j的当前配置文件（不成功，就像许多其他配置文件一样）：

appenders=borrajax_console,console

# This affects logging for both user code and Flink
rootLogger.level = INFO
rootLogger.appenderRef.console.ref = ConsoleAppender

# Log all infos to the console
appender.console.name = ConsoleAppender
appender.console.type = CONSOLE
appender.console.layout.type = PatternLayout
appender.console.layout.pattern =%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

# Console appender JUST FOR PYTHON:
appender.borrajax_console.name=BorrajaxConsoleAppender
appender.borrajax_console.type=CONSOLE
appender.borrajax_console.layout.type = PatternLayout
appender.borrajax_console.layout.pattern =%m%n

logger.app.name = org.apache.flink.streaming.api
logger.app.appenderRef.borrajax_console.ref = BorrajaxConsoleAppender

Answer 1

您可以尝试将根记录器的模式设置为< code>%m%n，将Java记录器的模式设置为< code>%d{yyyy-MM-dd HH:mm:ss，SSS} %-5p %-60c %x - %m%n，例如

appenders=borrajax_console,console

# This affects logging for both user code and Flink
rootLogger.level = INFO
rootLogger.appenderRef.console.ref = ConsoleAppender

# Log all infos to the console
appender.console.name = ConsoleAppender
appender.console.type = CONSOLE
appender.console.layout.type = PatternLayout
appender.console.layout.pattern =%m%n

# Console appender JUST FOR JAVA:
appender.borrajax_console.name=BorrajaxConsoleAppender
appender.borrajax_console.type=CONSOLE
appender.borrajax_console.layout.type = PatternLayout
appender.borrajax_console.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

logger.app.name = org.apache
logger.app.appenderRef.borrajax_console.ref = BorrajaxConsoleAppender