更改在纱线上运行的flink作业的日志文件输出路径
我们有一些在纱线上运行的flink作业。我们想将flink作业日志上传到ELK以简化调试/分析。目前flink任务管理器将日志写入/mnt/flinklogs/$application_id/$container_id。我们希望它写入没有$applicatoin_id/$container_id嵌套结构的目录。
我试过使用env。日志目录：/mnt/flink。使用此设置时，无法正确传递配置。
-Dlog.file=/mnt/flinklogs/application_1560449379756_1312/\
container_e02_1560449379756_1312_01_000619/taskmanager.log
共有1个答案
我认为解决这个问题的最佳方法是使用纱线日志聚合将日志写入磁盘，并使用弹性文件位将它们发送到弹性。
-
当我们在一个纱线会话中运行多个flink作业时。我们发现所有作业的日志都写入同一个文件“taskmanager.log”，我们很难检查特定作业的日志。有没有办法把它们分开？ 除此之外，如果我们的flink作业长时间运行，如何根据日期分离日志文件？
-
我们正在hadoop 2.6集群上运行Flink 1.5.0纱线会话/料仓/纱线会话。但是，这不会启动任何TaskManager。日志显示Flink JobManager以领导者id 000000开始。。。在JobManager web界面中也没有任务管理器。当我们向这个jobManager提交flink作业时，一些TaskManManager会在执行作业的web界面上生成。这是Flink1.5.
-
当我没有配置java home时，我提交了如下作业错误
-
我用纱线做Flink的工作。对于每个Flink作业，我都会创建一个检查点。 我提交了一份在我的纱线集群中运行的Flink作业。我有一个轮询作业，它检查一个作业是否在纱线上失败并重新启动它。再次提交作业时，纱线会为此Flink作业创建一个新的application\u id。如何配置重新提交的Flink作业以使用重新启动的Flink作业的检查点。 我已经设置了conf的状态。保存点。目录=hdfs:
-
我正在kubernetes上试用最新版本的Flink1.5的flink工作。 我的问题是如何在上面的flink集群上运行一个示例应用程序。flink示例项目提供了如何使用flink应用程序构建docker映像并将该应用程序提交给flink的信息。我遵循了这个例子，只是把flink的版本改成了最新版本。我发现应用程序（example-app）提交成功，并且在kubernetes的pod中显示，但是f
-
我正在使用spark submit执行以下命令： spark submit script\u测试。py—主纱线—部署模式群集spark submit script\u测试。py—主纱线簇—部署模式簇 这工作做得很好。我可以在Spark History Server UI下看到它。但是，我无法在RessourceManager UI（纱线）下看到它。 我感觉我的作业没有发送到集群，但它只在一个节点上