Kafka流-通过交互式查询在远程存储中进行查找的最佳方式？

Question

我有一点困惑，我想澄清一下。我有东西在做。我想有一个Kafka Streams拓扑，将有五个独立的KStreams从他们各自的主题读取数据，并将这些数据转储到一个大的整体主题。接下来，我将有一个GlobalKTable，它将从这个整体主题中读取并实现一个全局存储，比方说叫做LookupStore。我想把这个实体化的全局存储作为其他Kafka Streams应用程序的“查找”表。我已经阅读了一些关于使用带有application.server配置的RPC层公开这一点的内容，该配置将以某种唯一的host:port的形式出现。

现在，我希望有许多单独的微服务，每个都是Kafka Streams应用程序，它们将执行处理来自KStream的事件，然后通过交互式查询在LookupStore上进行查找。例如，.filter()操作基于对该lookupstore的查找是否返回值。所以我的困惑是...让我们假设我在host：port上硬编码公开的RPC层，我如何查询lookupstore来查询它。如果这是在相同的拓扑/本地实例中，您只需执行类似lookupstore.get（“key”）······但是如何在远程Kafka Streams实例中执行此操作呢？

还是连接到那个RPC层将状态存储暴露给远程应用程序，以便它“知道”它，您可以像查询本地实例一样查询lookupstore？这是可行的还是我走错了路？

Answer 1

如果您的微服务（即流应用程序）与主流应用程序（生成GlobalKTable）共享相同的Kafka集群，那么它们可以访问对应于相同应用程序的Table主题，并执行KTable join或LookupStore.get（“key”）。另外，由于延迟，不建议在流应用程序中执行远程API调用来进行查找。如果这两个Kafak集群不同，那么您可以使用类似mirror Maker的东西来复制主题（GlobalKTable和State Store change log主题）。