Kafka：消费者API与流API

Question

我最近开始学习Kafka，最后就问了这些问题。

>

消费者和流的区别是什么？对我来说，如果任何工具/应用程序消费来自Kafka的消息，那么它就是Kafka世界中的消费者。

流与Kafka有何不同？为什么需要它，因为我们可以使用消费者API编写自己的消费者应用程序，并根据需要处理它们，或者将它们从消费者应用程序发送到Spark？

我做了谷歌对此，但没有得到任何好的答案。抱歉，如果这个问题太琐碎了。

Answer 1

2021年1月更新：我写了一个关于卡夫卡基本原理的四部分的博客系列，我建议阅读这些问题。对于这个问题，请参阅关于处理基础的第3部分。

2018年4月更新：如今，您也可以使用ksqlDB，用于Kafka的事件流数据库，来处理您在Kafka中的数据。ksqlDB构建在Kafka的Streams API之上，它还提供了一流的流和表支持。

消费者API和流API有什么区别？

Kafka的Streams库（https://Kafka.apache.org/documentation/Streams/）构建在Kafka生产者和消费者客户端之上。Kafka Streams比普通客户端功能更强大，也更有表现力。

用Kafka Streams编写一个真实世界的应用程序要比用普通的Consumer要简单和快速得多。

下面是Kafka Streams API的一些特性，其中大部分不受消费者客户端的支持（这需要您自己实现缺失的特性，实质上是重新实现Kafka Streams）。

• 支持通过Kafka事务（EOS的意思）精确一次处理语义
• 支持容错的有状态（当然也支持无状态）处理，包括流式连接、聚合和窗口化。换句话说，它支持对应用程序的处理状态进行开箱即用的管理。
• 支持事件时处理以及基于处理时间和摄取时间的处理。它还无缝地处理无序数据。
• 对流和表都有一流的支持，这是流处理与数据库相遇的地方；在实践中，大多数流处理应用程序都需要流和表来实现它们各自的用例，所以如果流处理技术缺少这两个抽象中的任何一个（例如，不支持表），您要么就会陷入困境，要么就必须自己手动实现这个功能（祝您好运……)
• 支持交互式查询（也称为“可查询状态”），通过请求-响应API向其他应用程序和服务公开最新的处理结果。这对于传统的应用程序特别有用，因为它们只能执行请求-响应，而不能执行流式处理。
• 的表达能力更强：它附带了（1）函数式编程风格的DSL，具有诸如map、filter、reduce等操作，以及（2）命令式处理器API，用于执行复杂事件处理(CEP)；（3）您甚至可以将DSL和处理器API组合在一起。
• 有自己的测试工具包用于单元和集成测试。

请参阅http://docs.confluent.io/current/Streams/introduction.html以获得对Kafka Streams API的更详细但仍然是高级别的介绍，这也将帮助您理解与较低级别的Kafka消费者客户机的区别。

除了Kafka流之外，您还可以使用流数据库ksqlDB处理Kafka中的数据。ksqlDB将其存储层（Kafka）与计算层（ksqlDB本身；它在这里使用Kafka流来实现其大部分功能）分开。它支持与Kafka Streams基本相同的特性，但您编写的是流式SQL语句，而不是Java或Scala代码。您可以通过UI、CLI和REST API与ksqlDB交互；它还有一个原生的Java客户端，以防你不想使用REST。最后，如果您不希望自己管理基础设施，ksqlDB可以作为一个完全管理的服务在Confluent Cloud中使用。

那么Kafka Streams API有什么不同，因为它也从Kafka中消费或生成消息给Kafka呢？

是的，Kafka Streams API既可以读取数据，也可以向Kafka写入数据。如果它支持Kafka事务，那么您可以例如从一个或多个主题读取一个或多个消息，如果需要，可选地更新处理状态，然后将一个或多个输出消息写入一个或多个主题--全部作为一个原子操作。

为什么需要它，因为我们可以使用消费者API编写自己的消费者应用程序，并根据需要处理它们，或者将它们从消费者应用程序发送到Spark？

是的，您可以编写自己的使用者应用程序--正如我提到的，Kafka Streams API使用Kafka使用者客户机（加上生产者客户机）本身--但您必须手动实现Streams API提供的所有独特功能。请看上面的列表，看看你“免费”得到的所有东西。因此，用户选择普通的消费者客户端而不是更强大的Kafka Streams库的情况很少见。