Kafka流-带有保留策略的主题中的KTable
我正在实验Kafka流，我有以下设置：
-
null
有什么方法可以让我的KTable从我的主题中“继承”保留策略吗？这样当记录从主主题过期时，它们在KTable中就不再可用了？
我担心将所有记录转储到KTable中，并使StateStore无限增长。
我能想到的一个解决方案是转换成一个窗口流，其跳跃窗口等于记录的TimeToLive，但我想知道是否有更好的解决方案，以更原生的方式。
多谢了。
共有1个答案
不幸的是它不支持ATM。有一个JIRA通过:https://issues.apache.org/JIRA/browse/kafka-4212
另一种可能是在输入主题中插入墓碑消息(
)。ktable将拾取这些密钥并从存储区中删除相应的密钥。
-
本文向大家介绍kafka 有几种数据保留的策略？相关面试题，主要包含被问及kafka 有几种数据保留的策略？时的应答技巧和注意事项，需要的朋友参考一下 kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留。
-
我使用Kafka流对时间窗口进行一些聚合。我只对每个窗口的最终结果感兴趣，因此我使用了.suppress（）特性，该特性为其状态创建了一个changelog主题。 这个changelog主题的保留策略配置被定义为“紧凑”，我的理解是，它将至少保留每个键过去的最后一个事件。 我的应用程序中的问题是密钥经常变化。这意味着主题将无限增长（每个窗口都会带来永远不会被删除的新键）。 因为聚合是每个窗口的，所
-
在创建期间配置所有主题的保留策略 正在尝试配置租用。ms使用spring，因为我得到一个错误： 原因：java.util.concurrent。ExecutionException:org.apache.kafka.common.errors。PolicyViolationException：保留无效。ms指定。允许的范围是[3600000..2592000000]，根据我读取的值，新值是-1（无
-
问题内容： 我需要在创建过程中配置特定主题的保留策略。我试图寻找解决方案，我只能找到如下所示的命令级别alter命令 ./bin/kafka-topics.sh –zookeeper本地主机：2181-更改–topic我的主题–config保留.ms = 1680000 有人可以让我知道一种在创建过程中进行配置的方法，例如spring-mvc中的xml或属性文件配置。 问题答案： Spring K
-
我想使用下面的连接器配置将多个表数据发布到同一个Kafka主题，但我看到了下面的异常 例外 原因：io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException：正在注册的架构与早期架构不兼容；错误代码：409 连接器似乎忽略了主题策略属性集，并继续使用旧的${主题}-key和${主题}-value主题。 连
-
假设我有一个多代理（运行在同一主机上）的Kafka设置，其中有3个代理和50个主题，每个主题配置为有7个分区和3个复制因子。 我有50GB的内存要用于kafka，并确保kafka日志永远不会超过这个内存数量，因此我想配置我的保留策略以防止这种情况。 我已设置删除清理策略： 我应该如何配置上述参数，以便每7天删除一次数据，并确保如果需要，可以在较短的窗口中删除数据，这样我就不会耗尽内存？