Kafka通过Kafka消费者API流式传输DSL

Question

最近，在一次采访中，我被问到一个关于Kafka流的问题，更具体地说，面试官想知道为什么/什么时候您会使用Kafka流DSL而不是普通的Kafka消费者API来读取和处理消息流？我不能给出一个令人信服的答案，我想知道使用这两种流处理风格的其他人是否可以分享他们的想法/意见。多谢了。

Answer 1

与往常一样，它取决于用例何时使用KafkaStreams API以及何时使用普通的KafKaProducer/Consumer。我不敢笼统地选择一个而不是另一个。

首先，KafkaStreams构建在KafkaProducer/Consumer之上，因此在KafkaStreams中可以实现的所有功能在普通的Consumer/Producers中也是可能的。

我认为KafkaStreams API不那么复杂，但与普通的消费者/生产者相比也不那么灵活。现在我们可以开始长时间的讨论什么是“少”。

在开发Kafka Streams API时，您可以直接应用filter、map、join或aggregate等方法跳入业务逻辑，因为所有的消费和生产部分都是在幕后抽象的。

当您使用简单的使用者/生产者开发应用程序时，您需要考虑如何在subscribe、poll、send、flush等级别构建客户端。

如果您希望具有更低的复杂性（但也不那么灵活），ksqldb是构建Kafka应用程序的另一个选项。