我试图了解运行批处理任务时通过Spring Cloud数据流WRT数据源配置的预期行为。
Spring批处理数据库表(Batch\u JOB\u EXECUTION等)是否在SCDF数据库本身中?当通过SCDF启动任务时,似乎发生了一些神奇的事情,它在SCDF数据库中创建了这些表,并似乎在使用它们。它似乎正在将SCDF数据源注入我的应用程序?
我目前在localhost服务器版本2.0.1上运行。流按预期工作,它们使用application.properties.中配置的数据源
Spring批处理数据库表(Batch\u JOB\u EXECUTION等)是否在SCDF数据库本身中?
对的如果您有兴趣使用SCDF外壳/仪表板跟踪和管理批处理作业的生命周期,则要求Spring批处理、任务和SCDF共享一个公共数据源。
如果在任务应用程序中包括批处理作业,则在其启动时直接创建批处理和任务模式的应用程序。SCDF不会注入数据源Cred,除非您在启动任务时有意要求它这样做。
SCDF恰好参与相同的数据源,因此它可以反过来查询执行/状态表,以在仪表板中显示它。
以下是参考指南中的更多背景。
我在Openshift集群上安装了一个Spring Cloud数据流。我尝试注册一个应用程序,然后创建一个任务,一切都很好,但当我试图安排任务时,我遇到了以下异常: 我不知道这是什么意思,我是Dataflow的新手。我不明白为什么他试图使用Maven而不是kubernetes部署器,也不明白为什么我会出现这个错误。有人能再给我解释一下吗? 顺便说一句,我将这些应用程序注册为docker容器。
我试图编写一个spring-cloud-stream函数(spring-starter-parent 2.5.3,java 11,spring-cloud-version 2020.0.3),该函数同时具有Kafka和Postgres事务。每当使用的消息以字符串“fail”开始时,该函数将引发一个模拟错误,我希望这将导致数据库事务回滚,然后导致kafka事务回滚。(我知道Kafka交易不是XA,这
我使用部署到pivotal cloud foundry的spring云数据流,将spring批处理作业作为spring云任务运行,这些作业需要aws凭据才能访问s3存储桶。 我尝试将aws凭据作为任务属性传递,但凭据作为参数或属性显示在任务的日志文件中。(https://docs.spring.io/spring-cloud-dataflow/docs/current/reference/html
在spring cloud dataflow中,根据我的理解,每个流都是一个微服务,但数据流服务器不是。我说的对吗?
我有一个从流-任务-启动器-数据流调用的组合任务 我将流处理器中的几个属性传递给任务启动器数据流和子任务,例如。。。 这可以正常工作,但我已经达到了最大字符限制,并在组合任务pod上得到一个sql异常,说明我已经超过了2500个字符的限制。我想为所有任务而不是单独设置属性以节省字符空间,但使用通配符不起作用 有没有办法为所有任务设置属性,而不必单独设置? 我尝试在kubernetes中的Sprin
我正在尝试在Spring云数据流中配置DLQ。下面是流定义以及我如何部署它 在自定义转换处理器代码中,我已经提到过 这意味着若消息包含错误,那个么RunTimeException和我想在DLQ中捕获这些消息。但当我运行代码时,似乎没有得到任何名为test tran的Kafka DL队列。 我是否需要设置更多属性来启用DLQ,还是需要更改代码中的某些内容以正确使用DLQ。 自定义转换代码 Trans