Kafka Streams：为执行KTable-KTable外键连接的应用程序增加主题分区

Question

我找到的大部分信息都与主键连接有关。我知道外键连接对于Kafka流来说是一个相对较新的功能。我对它的规模感兴趣。我知道Kafka Streams并行性受到每个主题上的分区数的限制，但是我对增加输入主题分区意味着什么有一些疑问。

• 外键联接对共分区输入主题有相同的要求吗？也就是说，两个主题是否需要具有相同数量的分区
• 在应用程序在生产环境中运行数月或数年后，如何添加分区？支持每个KTable的changelog主题存储来自特定输入主题分区的数据。如果要增加输入主题中的分区，这会如何影响我们的KTables的状态存储和变更日志？据推测，我们不能重新开始并丢失这些数据，因为这些数据已经积累了数月或数年，对于执行连接至关重要。它可能不会很快被上游数据取代。我们是否需要取消状态存储，创建新的输入主题，并将所有KTable changelog主题数据重新发送给它们
• 其他内部“订阅”主题如何

Answer 1

外键连接对共同分区输入主题有相同的要求吗？也就是说，两个主题需要有相同数量的分区吗？

不，更多细节请查看https://www.confluent.io/blog/data-enrichment-with-kafka-streams-foreign-key-joins/

在应用程序在生产环境中运行数月或数年后，如何添加分区？

即使不使用Kafka Streams，您也不能这样做。问题是，您的输入数据是按键分区的，如果您添加分区，输入主题中的分区会中断。-推荐的模式是创建一个具有不同数量分区的新主题。

支持每个KTable的changelog主题存储来自特定输入主题分区的数据。如果要增加输入主题中的分区，这会如何影响我们的KTables的状态存储和变更日志？

这会破坏应用程序。事实上，如果Kafka Streams检测到输入主题分区的数量与changelog主题分区的数量不匹配，它将进行检查并引发异常。