当前位置: 首页 > 面试题库 >

kafka 有几种数据保留的策略?

宗安翔
2023-03-14
本文向大家介绍kafka 有几种数据保留的策略?相关面试题,主要包含被问及kafka 有几种数据保留的策略?时的应答技巧和注意事项,需要的朋友参考一下
kafka 有两种数据保存策略:按照过期时间保留和按照存储的消息大小保留。
 类似资料:
  • 假设我有一个多代理(运行在同一主机上)的Kafka设置,其中有3个代理和50个主题,每个主题配置为有7个分区和3个复制因子。 我有50GB的内存要用于kafka,并确保kafka日志永远不会超过这个内存数量,因此我想配置我的保留策略以防止这种情况。 我已设置删除清理策略: 我应该如何配置上述参数,以便每7天删除一次数据,并确保如果需要,可以在较短的窗口中删除数据,这样我就不会耗尽内存?

  • 我正在实验Kafka流,我有以下设置: null 有什么方法可以让我的KTable从我的主题中“继承”保留策略吗?这样当记录从主主题过期时,它们在KTable中就不再可用了? 我担心将所有记录转储到KTable中,并使StateStore无限增长。 我能想到的一个解决方案是转换成一个窗口流,其跳跃窗口等于记录的TimeToLive,但我想知道是否有更好的解决方案,以更原生的方式。 多谢了。

  • 我想为我们拥有的一些用例实现数据回放,为此,我需要使用Kafka保留策略(我使用的是连接,我需要窗口时间才能准确)。附言:我正在使用Kafka版本0.10.1.1 我将数据发送到主题中,如下所示: 我创建的主题如下: Kafka主题--创建--zookeeper localhost:2181--复制因子1--分区1--主题myTopic Kafka主题--zookeeper localhost--

  • 本文向大家介绍Java保留两位小数的几种写法总结,包括了Java保留两位小数的几种写法总结的使用技巧和注意事项,需要的朋友参考一下 本文列举了几个方法:      1. 使用java.math.BigDecimal      2. 使用java.text.DecimalFormat      3. 使用java.text.NumberFormat      4. 使用java.util.Forma

  • 我使用Kafka流对时间窗口进行一些聚合。我只对每个窗口的最终结果感兴趣,因此我使用了.suppress()特性,该特性为其状态创建了一个changelog主题。 这个changelog主题的保留策略配置被定义为“紧凑”,我的理解是,它将至少保留每个键过去的最后一个事件。 我的应用程序中的问题是密钥经常变化。这意味着主题将无限增长(每个窗口都会带来永远不会被删除的新键)。 因为聚合是每个窗口的,所

  • 本文向大家介绍数据传输的事务有几种?相关面试题,主要包含被问及数据传输的事务有几种?时的应答技巧和注意事项,需要的朋友参考一下 数据传输的事务定义通常有以下三种级别: 最多一次: 消息不会被重复发送,最多被传输一次,但也有可能一次不传输 最少一次: 消息不会被漏发送,最少被传输一次,但也有可能被重复传输. 精确的一次(Exactly once): 不会漏传输也不会重复传输,每个消息都传输被