具有多个输出主题的Kafka流拓扑的并发

Question

给定一个将消息发布到两个不同主题的Kafka流拓扑，是否可以保证在这两个分支中执行各个步骤的顺序，或者这些分支是完全分开并并行执行的？

    KStream<..., ...> filteredStream = builder.stream("input-topic", ...).filter(...)...;

    filteredStream.mapValues(this::mapOne).to("output-topic-one", ...);
    filteredStream.flatMap(this::mapTwo).to("output-topic-two", ...);

在本例中，是否会在调用< code>mapTwo或向output-topic-two发布消息之前执行< code>mapOne并发布到output-topic-one？换句话说，能否保证在消息发布到output-topic-two之前完成< code>mapOne?

在查看拓扑描述的可视化时（请参阅底部;用 https://zz85.github.io/kafka-streams-viz/ 制成），您可以看到两个分支。但你也可以在每个气泡中看到这些数字，这也可能表明存在执行顺序（1-4，然后是5-6-7，然后是8-9）。

Topologies:
   Sub-topology: 0
    Source: KSTREAM-SOURCE-0000000000 (topics: [input-topic])
      --> KSTREAM-FILTER-0000000001
    Processor: KSTREAM-FILTER-0000000001 (stores: [])
      --> KSTREAM-FILTER-0000000002
      <-- KSTREAM-SOURCE-0000000000
    Processor: KSTREAM-FILTER-0000000002 (stores: [])
      --> KSTREAM-MAP-0000000003
      <-- KSTREAM-FILTER-0000000001
    Processor: KSTREAM-MAP-0000000003 (stores: [])
      --> KSTREAM-FILTER-0000000004
      <-- KSTREAM-FILTER-0000000002
    Processor: KSTREAM-FILTER-0000000004 (stores: [])
      --> KSTREAM-MAPVALUES-0000000005, KSTREAM-FLATMAP-0000000008
      <-- KSTREAM-MAP-0000000003
    Processor: KSTREAM-MAPVALUES-0000000005 (stores: [])
      --> KSTREAM-FILTER-0000000006
      <-- KSTREAM-FILTER-0000000004
    Processor: KSTREAM-FILTER-0000000006 (stores: [])
      --> KSTREAM-SINK-0000000007
      <-- KSTREAM-MAPVALUES-0000000005
    Processor: KSTREAM-FLATMAP-0000000008 (stores: [])
      --> KSTREAM-SINK-0000000009
      <-- KSTREAM-FILTER-0000000004
    Sink: KSTREAM-SINK-0000000007 (topic: output-topic-one)
      <-- KSTREAM-FILTER-0000000006
    Sink: KSTREAM-SINK-0000000009 (topic: output-topic-two)
      <-- KSTREAM-FLATMAP-0000000008

Answer 1

Kafka流始终保证拓扑顺序。它总是在拓扑中传递消息，该拓扑具有边缘和节点。当您在应用程序中定义拓扑时，这些边和节点将添加到拓扑中。

在您的情况下，过滤流遍历拓扑中的map values分支，直到该路径结束（在您的案例中为sink-

然后它继续使用平面映射分支。直到下沉到主题二。

使用该 ID 正确排序。

0000000004-

0000000004-

有关更多信息，请查看Kafka源代码内部拓扑构建器

并参考这个