在同一纱线会话中运行时分离flink作业的日志文件
当我们在一个纱线会话中运行多个flink作业时。我们发现所有作业的日志都写入同一个文件“taskmanager.log”，我们很难检查特定作业的日志。有没有办法把它们分开？
除此之外，如果我们的flink作业长时间运行，如何根据日期分离日志文件？
共有1个答案
据我所知，除了为每个作业运行一个单独的集群之外，根本没有办法为一个作业分离日志。此外，记录的许多内容并不是真正的工作特定的。
要设置日志旋转，可以在log4j中放置类似的内容。flink/conf目录中的属性文件：
log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.File=${log.file} log4j.appender.file.MaxFileSize=1000MB
log4j.appender.file.MaxBackupIndex=0 log4j.appender.file.append=false
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
-
我们有一些在纱线上运行的flink作业。我们想将flink作业日志上传到ELK以简化调试/分析。目前flink任务管理器将日志写入。我们希望它写入没有嵌套结构的目录。 我试过使用env。日志目录：/mnt/flink。使用此设置时，无法正确传递配置。
-
我正在尝试设置一个flink-yarn会话来运行大约100个批处理作业。连接到大约40个任务管理器和大约10个正在运行的作业（每个任务管理器有2个插槽和1GB内存）后，会话看起来变得不稳定。有足够的资源可用。flinkUI突然变得不可用，我猜作业管理器可能已经死了。最终，纱线应用程序也被杀死了。 作业管理器正在4核16GB节点上运行，可用容量为12 gb 是否有任何指南来计算作业管理器资源与它可以
-
我们正在hadoop 2.6集群上运行Flink 1.5.0纱线会话/料仓/纱线会话。但是，这不会启动任何TaskManager。日志显示Flink JobManager以领导者id 000000开始。。。在JobManager web界面中也没有任务管理器。当我们向这个jobManager提交flink作业时，一些TaskManManager会在执行作业的web界面上生成。这是Flink1.5.
-
当我启动flink独立集群时，它会将守护程序日志记录在conf/log4j中提到的文件中。属性文件，当我在该集群中提交flink作业时，它使用相同的属性文件记录应用程序日志，并在TaskManager上写入相同的日志文件。我想为在flink独立集群中提交的每个应用程序提供单独的日志文件。有没有办法做到这一点
-
我正在使用spark submit执行以下命令： spark submit script\u测试。py—主纱线—部署模式群集spark submit script\u测试。py—主纱线簇—部署模式簇 这工作做得很好。我可以在Spark History Server UI下看到它。但是，我无法在RessourceManager UI（纱线）下看到它。 我感觉我的作业没有发送到集群，但它只在一个节点上
-
我正在从事一个Spring Hibernate项目，其中包含Spring AMQP RabbitMQ消息传递实现。rabbitmq配置位于一个单独的xml中，该xml被导入到根应用程序上下文中。rabbitmq侦听器接收器每秒轮询一次队列。重要的日志消息被大量的调试级轮询消息隐藏在日志文件中。 有没有办法将轮询日志分离到另一个文件中，或者阻止它污染日志？ 我使用log4j进行日志记录；配置如下。