从Kafka队列消耗数据的流作业与循环批处理作业

Question

例如，如果我有一个Java应用程序一直在运行，并且它在到达时从Kafka队列中读取数据，目的是获取数据并将其转发到数据库...无限循环通过一个批处理作业而不是通过Kafka Streaming/Kafka Connect来完成它有什么大的坏处吗？考虑到我没有在每个循环中无谓地创建或浪费资源，并且我正确地处理了多线程，有没有什么主要的缺点或不这样做的原因？对于长时间运行的应用程序，它是一个可行的选项吗？

（我有理由不使用Kafka Streams/与我们的用例连接）

Answer 1

所以我和我的工程师谈过了。结果表明，只要您正确地执行了批处理作业，执行无限循环是一个可行的选择。这意味着您已经对配置进行了微调，在循环之间进行了短暂的暂停，并且在连接/消费者/生产者失败时正确地处理了它们的生命周期。另一个团队已经在prod环境下做了。