Kafka Streams应用程序更新

Question

我已经构建了一个Kafka Streams应用程序。这是我的第一个，所以我正在从概念验证的思维模式转变为“我如何将其产品化？”心态。

tl； dr版本：我正在寻找kafka流部署建议和技巧，特别是与更新应用程序代码相关的建议和技巧。

我已经找到了很多关于Kafka和Streams API如何工作的文档，但是我找不到任何关于实际部署Streams应用程序的文档。

初始部署似乎相当简单-有很好的文档可以配置Kafka集群，然后必须为应用程序创建主题，然后启动应用程序并发布数据以进行处理。

但是，如果以后要升级应用程序，该怎么办？特别是，如果更新包含对拓扑的更改。我的应用程序在windows中进行了大量的数据充实和聚合，因此将来可能需要对处理过程进行调整。

我的理解是，更改处理顺序或在拓扑中插入额外步骤将导致每个处理步骤的内部ID发生移动，这意味着在最好的情况下，将创建新的状态存储，而在最坏的情况下，将在启动时从错误的状态存储主题读取处理步骤。这意味着您必须重置应用程序，或为新版本提供一个新的应用程序id。但这有一些问题：

1. 如果您重置应用程序或给出一个新的id，处理将从源主题和中间主题开始。我真的不想将输出发布到输出主题两次。
2. 目前，当您停止升级应用程序时，飞行中的数据将丢失（因为该应用程序永远不会再次启动以恢复处理）。

我认为缓解这种情况的唯一方法是：

1. 停止将数据发布到源主题。让应用程序处理所有消息，然后将其关闭

这是“好的”，因为我的应用程序是唯一一个读取源主题的应用程序，并且中间主题目前不会在同一应用程序中的下一个处理器中使用。但是，我可以看到这变得相当混乱。

有没有更好的方法来处理应用程序更新？或者我的步骤大体上与大多数开发人员的做法相同？

Answer 1

我认为你对这个问题有一个完整的了解，你的解决方案似乎是大多数人在这种情况下所做的。

在最近的Kafka峰会上，在格温·夏皮拉和马蒂亚斯·J.萨克斯关于库伯内特斯的部署。回答是相同的：如果您的升级包含拓扑修改，这意味着滚动升级无法完成。

现在看来这件事还没有什么大不了的。