设计和解决问题-带Kafka应用程序的Spring Boot

Question

我是一个新手Springboot和微服务开发和有一个问题有关Springbot服务设计。

要求-我们有一个要求，其中Springstart服务需要单独监听3或4个不同的Kafka主题，并分别创建3或4个csv文件（在一天中的不同时间从事件消息中过滤一些属性并将文件上传到FTP服务器后）。

#2还有一个可以创建cron作业的作业管理器，它可以每天缝合一次文件并上传到FTP。https://spring.io/guides/gs/scheduling-tasks/

#3希望在明天的配置基础上创建作业，如果我们想添加新作业，它可以很快。

#4如何进行设计，以实现可扩展性。由于活动即将举行，人数将非常多。

#5是否建议使用弹性缓存，而不是创建多个文件，然后将它们粘贴在一个文件上。

#6我还希望有一个故障安全逻辑，这样，如果服务出现故障，我应该能够从中断的地方继续。

请告诉我任何我可以参考的现有解决方案。任何有助于作业/批处理调度程序以及管理配置的API。

你好，丹

Answer 1

1. 在Kafka中可以设置检查点，因此如果应用程序失败，可以从同一点开始使用事件。检查点只在工作完成后才移动

让我知道你还需要知道什么。