流处理器（低级API）源处理器如何从主题中获取数据？

Question

我是Kafka流处理器的新手，接触到了“拓扑”的关键概念。

我创建了源处理器，它从如下“源主题”中读取：

Topology topology = new Topology();
topology.addSource("SOURCE", "source-topic");

上面的代码片段将创建（如果我的理解正确的话）一个名为“source”的源流处理器，并将侦听Kafka主题“source topic”。

我没有为这个“SOURCE”流处理器编写任何代码，它是如何从kafka主题中获取消息的？它是由kafka stream API本身照顾的“特殊”类型的流处理器吗？

谁能帮我弄明白这一点？

Answer 1

topology.addSource("SOURCE", "source-topic");

“SOURCE”上方只是一个名称。您可以在此处参考拓扑类以获取更多详细信息。

其内部工作原理是-创建拓扑时，需要使用以下方法定义源、接收器和处理器：

addSource（）、addSink（）和addProcessor（）

这些方法在拓扑中添加处理器节点，并在内部调用InternalTopologyBuilder类来构建拓扑图。

在streams.start（）方法上，它调用拓扑的处理。

Answer 2

拓扑从一个源节点开始，从Kafka获取数据，然后包含一堆处理器节点来执行转换，最后以一个接收器节点结束，将转换后的数据写入Kafka。

addSource（）将在拓扑中创建源节点。源节点使用来自指定主题的记录，并将其传递给拓扑中的下一个节点。它没有任何其他逻辑。在封面下，源节点将启动Kafka消费者来获取记录。

Kafka Streams API使您能够专注于您的逻辑（在处理器中），而不是与消费者和生产者打交道。