为Kafka创建Spring Cloud数据流主题

Question

我有自己的Spring Cloud数据流处理器，里面有Python，我使用这个示例作为指导：https://dataflow.Spring.io/docs/recipes/polyglot/processor/。然后我想缩放并创建其中的三个处理器，因此使用spring.cloud.deployer.myapp.count=3创建了3个Python内部的POD。我稍微修改了示例中的一段代码：当我创建一个Kafka消费者时，我也会传递一个组id，因此消息应该是负载平衡的。

consumer = KafkaConsumer(get_input_channel(), group_id=get_consumer_group(), bootstrap_servers=[get_kafka_binder_brokers()])

问题是，SCDF创建了一个只有1个分区的Kafka主题，因此消息只能到达一个pod。所以我在想：

• 我是否应该将SCDF配置为创建具有3个分区的Kafka主题？
• 还是不应该依赖于SCDF，在Python中自己创建主题？我想这是多余的，因为SCDF也创建了这个主题。
• SCDF中的哪个组件实际上负责Kafka主题的创建？如何影响分区数？
• 如果我停止此流并用4个处理器步骤再次启动，是否应该用第4个分区扩展主题？因为当前没有创建新分区。

Answer 1

请花点时间回顾一下Spring Cloud Data Flow的职责。在不清楚的情况下，SCDF既不与支持消息传递中间件（如Kafka）交互，也不在运行时使用它。换句话说，SCDF并不创建与之相关的主题或分区--它只是自动配置Spring Cloud Stream（SCSt）属性。

但是，如果您在自定义处理器中使用SCSt，框架会自动将所需通道绑定到中间件中的底层主题。该框架还具有更改分区行为的功能。您也可以部署带有过度分区主题的处理器。还有其他几个配置选项来构建所需的流数据处理行为。

您正在查看的Python示例并不具备SCSt提供的所有特性。该方法是一个示例演练，说明如何在Python中构建本机处理器风格的应用程序，其中生产者和消费者配置是在Python代码本身中手动创建的。SCDF和SCSt都不会影响此配方中的应用程序行为。

我应该如何配置SCDF来创建一个有3个分区的Kafka主题吗？

如前所述，SCDF不与Kafka交互。

或者我应该不依赖于SCDF，在Python中自己创建主题吗？我想这将是多余的，因为SCDF也创建了这个主题。

如果您的自定义处理器不是Spring Cloud Stream应用程序，是的，明确定义代码中的主题+分区是您的责任。

SCDF中的哪个组件实际负责Kafaka主题的创建？我如何影响它的分区数？

Spring-Cloud-Stream。请参阅上面的解释。

如果我停止这个流并用4个处理器步骤再次启动，是否应该用第4个分区扩展主题？因为当前没有创建新的分区。

您不一定需要重新启动流数据管道。如果您的主题预先被过度分区，是的，运行时的任何额外消费者都应该能够自动参与竞争的消费者关系。关注Spring-io/dataflow.spring.io#156-我们正在添加一个配方，演示使用SCSt+SCDF+Kafka进行手动缩放和自动缩放的可能性。