如何定期安排flink批次处理作业
我有一个java应用程序，它对通过查询数据库中的表获得的批进行flink批处理，并将其输入kafka主题。我将如何定期安排这项工作。有flink调度程序吗？例如，我的java应用程序应该在后台持续运行，flink调度程序应该定期从数据库查询表，flink批处理它并将其输入kafka（flink批操作和输入Kafca已经在我的应用程序中完成了）。如果有人有这方面的建议，请帮忙。
共有1个答案
Flink不提供作业调度程序。
您是否考虑过通过持续运行的 Flink DataStream 应用程序实现用例？您可以实现定期查询数据库的 SourceFunction。
连续流应用程序的好处是移动部件更少（没有调度程序，如果出现问题，没有故障处理）和跨“批次”边界的一致视图。缺点是作业总是在消耗资源（Flink无法在低负载下自动缩小规模）。
-
我们目前正在将一个复杂的spring boot batch+admin UI系统迁移到一个spring-cloud-task基础设施中，该基础设施将被管理云数据流。 作为POC的第一阶段，我们必须能够将所有Spring批处理作业打包在同一个部署JAR下，并且能够使用自定义作业参数一个接一个地运行它们，并且支持某种REST API远程执行作业/任务。 我们删除了所有spring-batch管理依赖项
-
我有一个MyObject流，我想将它批量持久化到DB中(不是一个接一个，而是一次1000个)。所以我想做一个转变，就像 其中每个列表都有一些固定大小的批处理大小。有没有办法用标准的Java 8 Stream API做到这一点？
-
我希望能够用REST控制器开始我的作业，然后当作业开始时，它应该在计划的基础上运行，直到我用REST再次停止它。
-
我有以下工作要处理在一定的时间间隔或特别的基础上。 作业中的步骤如下： 我也想要用户界面，在那里我可以触发一个特别的基础上的工作，而且我应该能够提供参数从用户界面。 我想用Spring batch来完成这个任务，但它更多的是用于读->处理->写之类的工作。这里，在第一步中，我正在生成由第二步读取的数据。我不确定我是否还可以使用Spring batch来实现这个，或者有更好的方法来实现这个。
-
如何： 在几个月的特定日期安排工作？ 大约有10天。 其次是有一个模拟cron的工具，这样你就可以传递日期/时间，工具会告诉你是否触发了cron触发器
-
Spring批处理作业与flatfileitemreader（从csv读取）、processor（更新adwords api提要详细信息，对于csv文件中的每个记录（大约有40条记录），这一步大约需要40秒）和正在更新DB中记录的定制writer一起使用。 web.xml