Kafka状态-在不同缩放实例上存储

Question

我有5台不同的机器，每个机器都有使用kafka-streams应用程序的缩放的5个Spring Boot实例。我正在使用50个分区压缩主题与不同的2-3个主题，我的每个实例有10个并发。我正在使用docker swarm和docker Volume。使用这些主题KTable或KStream对我的kafka streams应用程序执行一些flatMap、map和join操作。

    props.put(StreamsConfig.STATE_DIR_CONFIG, /tmp/kafka-streams);
    props.put(StreamsConfig.REPLICATION_FACTOR_CONFIG, 3);
    props.put(StreamsConfig.NUM_STANDBY_REPLICAS_CONFIG, 2);
    props.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, 100);
    props.put(StreamsConfig.PROCESSING_GUARANTEE_CONFIG, EXACTLY_ONCE);
    props.put("num.stream.threads", 10);
    props.put("application.id", applicationId);

如果一切正常，在我的应用程序中，使用.join（）操作就不会有任何错误或数据丢失，但是当我的一个实例关闭时，我的连接操作实际上无法进行连接。

我的问题是：当应用程序重新启动或重新部署（并且考虑到它在非持久性容器中工作）时，它的状态就会改变，对吗？我的加入操作不起作用。当我重新部署我的实例并使用最新的实体从elasticsearch填充我的压缩主题时，我的连接操作就可以了。所以我想当我的应用程序在新机器上启动时，我的本地State Store就消失了？但Kafka的文件说：

当kafka State-Store运行时，我被关闭的实例是否会刷新它？如果这就是我丢失数据并且我不知道的原因：/或者由于commit_offset而无法重新加载状态存储，因为我的所有实例都使用相同的applicationId？

谢谢！

Answer 1

changelog主题总是从最早的偏移量读取，并且它们被压缩，因此不会丢失数据。

如果您加入了非紧凑主题，那么当然，您会丢失数据，但这并不限于Kafka流或您的特定用例...您需要将主题配置为至少在您认为需要解决任何主题停机问题的时间内保留数据。在保留数据的同时，您可以始终寻找您的使用者

如果您想要持久存储，例如，通过Kubernetes将卷挂载到您的容器，或者插入存储在容器外部的state state store，如Redis：https://github.com/andreas-Schroeder/redisks