当前位置: 首页 > 知识库问答 >
问题:

Spring批处理工作程序pod日志在Spring云数据流中不可见

梁丘诚
2023-03-14

我试图在K8s集群上运行一个带有远程分区的spring批处理。在分区、执行等方面,一切都很好。这些都与Spring云数据流集成在一起,可以在SCDF UI中看到任务日志。但我正在寻找是否有办法使spring批处理主程序和工作程序的日志在对应于每个作业的SCDF UI中可见。这方面的任何指示都会非常有用。

提前谢谢。

共有1个答案

陶唯
2023-03-14

如果将批处理作业包装为任务并通过SCDF启动,则您应该能够从“任务执行”选项卡访问日志。

请参阅任务执行详细信息页面中的“查看日志”按钮。日志也应该可以从SCDF的RESTful API访问。

请注意,只有在任务实际运行时才能访问日志。SCDF只是与K8s-API交互以检索日志并将其显示在SCDF仪表板中。但是,日志本身并不持久化在SCDF中。如果您需要持久化日志,您可能希望将日志通过管道传输到您选择的APM工具以进行高级日志分析。

 类似资料:
  • 顺便说一句:我的应用程序是一些REST控制器和一些批处理作业的组合。那么使用云数据流有意义吗?如果没有,那么是否有更好的控制台管理器用于批处理作业(如重新启动、取消作业门户)等?

  • 我正在使用docker部署spring云数据流服务器。我在dataflow服务器内部创建了一个数据处理管道,通过部署两个spring boot应用程序作为源、处理器和接收器。为了访问每个服务的日志,我必须从docker continer(bash)内部跟踪它,或者将其从docker容器复制到本地磁盘。 我想使用log4j-kafka appender将这些日志推送给kafka以供以后分析。我已经为

  • 我无法在使用JPA的Spring启动应用程序中记录Spring批处理日志。这是属性文件配置(application.properties)。我想看看应用程序是否从日志中创建了Spring批处理表。 https://github.com/spring-projects/spring-batch/blob/master/spring-batch-core/src/main/resources/org/

  • 我正在尝试在 kubernetes 集群中运行Spring批处理应用程序。我能够通过在部署 yaml 中放置以下代码段来强制对主应用程序 Pod 进行资源限制: 这些设置正在应用,可以在pod yaml(kubectl编辑pod批处理)中看到。 但是,这些限制不会传播到工作pod。我尝试在批处理的configmap中添加以下属性来设置cpu和内存限制: 然而,工人舱没有达到这些限制。我也尝试提供以

  • 我正在尝试在Spring云数据流中配置DLQ。下面是流定义以及我如何部署它 在自定义转换处理器代码中,我已经提到过 这意味着若消息包含错误,那个么RunTimeException和我想在DLQ中捕获这些消息。但当我运行代码时,似乎没有得到任何名为test tran的Kafka DL队列。 我是否需要设置更多属性来启用DLQ,还是需要更改代码中的某些内容以正确使用DLQ。 自定义转换代码 Trans

  • 我已经将spring batch admin与现有的spring web应用程序集成。我可以使用batch admin屏幕触发/控制作业,并使用Tomcat8进行部署。一切正常,但Spring管理批处理日志在控制台中触发,导致catalina。填写GB。日志样本如下: 我的log4j配置如下: 但我不断地得到日志。你能建议如何禁用/增加日志级别吗?提前谢谢。