一个消费者组里它的内部是有序的
消费者组与消费者组之间是无序的
我见过(旧?),我一直在考虑使用压缩键,但是对于kafka来说,是否有一个简单的选项可以永远删除消息? 或者最好的选择是给保留期一个可笑的高值?
本文向大家介绍kafka 有几种数据保留的策略?相关面试题,主要包含被问及kafka 有几种数据保留的策略?时的应答技巧和注意事项,需要的朋友参考一下 kafka 有两种数据保存策略:按照过期时间保留和按照存储的消息大小保留。
目前,我每5分钟调用一次消费api来消费数据。在这种情况下,不必要地调用了消费者api,但我希望在Kafka中有新数据可用时调用该api。
我正在用Kafka Streams(V0.10.0.1)编写一个应用程序,并希望用查找数据丰富我正在处理的记录。该数据(带有时间戳的文件)每天(或每天2-3次)写入HDFS目录。 如何将其加载到应用程序中并连接到实际的? 当一个新文件到达HDFS时,从那里重新读取数据的最佳实践是什么? 或者切换到并将RDBMS表内容写入一个Kafka主题更好,该主题可以被所有Kafka Streams应用程序实例
我正在使用Kafka连接分布。命令是:bin/connect-distributed etc/schema-registry/connect-avro-distributed.properties 工作人员配置为: Kafka连接重新开始没有错误! java代码如下: 奇怪的事情发生了。我从kafka-logs中获取数据,但在hdfs中没有数据(没有主题目录)。我尝试connector命令: 出什
我正在遵循入门指南[1],但是我已经从配置设置中删除了MySQL和analytics的内容,因为我不打算使用任何分析函数。但是,scdf服务后来崩溃了,因为没有配置数据源。 好的,所以似乎仍然需要在scdf-config-kafka.yml[2]中配置数据源(尽管从阅读文档来看,我认为它只用于分析内容)。 但为了什么?数据源用于持久化Kafka消息,还是在节点之间建立云流消息? 我找不到任何关于大