Kafka流库会杀死空闲的流线程吗？

Question

比如说，KStream拓扑结构很简单：输入主题-

如果有一个应用程序实例使用num.stream运行。threads=4，所有4个StreamThreads都被利用。

如果启动了第二个实例（使用num.stream.threads=4），则流任务现在在这两个实例之间分配。第一个实例中的任务0_1和0_2，第二个实例中的任务0_3和0_4。

首先，kafka streams库是否会杀死目前运行0_3和0_4的线程？




Answer 1

对于输入主题只有4个分区的情况，当使用num.stream.threads=1启动8实例时会发生什么？

4个实例变得空闲但没有被杀死。如果任何其他已分配的实例出现故障，它们将保留并获得分配任务。

因此，当您在一个实例中启动多个步进时，会发生同样的事情。在您的情况下，2个实例中的8个步进，每个实例4个。相同的情况会发生，我将在上面解释。4个线程空闲并保持空闲，直到它通过其他实例获得任务。

更多参考：

• 流-常见问题-可扩展性-最大并行度
• kafka-流-内部-流线程

让我们举个例子。假设应用程序正在读取一个有5个分区的输入主题。我们可以在这里运行多少个应用程序实例？

简单的回答是，我们最多可以运行该应用程序的5个实例，因为该应用程序的最大并行度是5。如果我们运行的应用程序实例超过5个，那么“多余”的应用程序实例将成功启动，但仍处于空闲状态。如果其中一个繁忙实例停止工作，其中一个空闲实例将恢复前者的工作。

您可以通过参考以下内容设置度量来查看线程的更多信息