《kafka》专题

有一个16个分区的Kafka主题 使用给定的消费者组名称，我们目前正在启动单个消费者来阅读该主题。 > 单个消费者是否从该主题的（仅）读取？如果带有消息为空，消费者是否从下一个分区开始读取（...等等）？ 我们可以选择启动多个消费者（使用相同的消费者组名称）来读取相同的主题（有16个分区）。为了并行读取多个分区，可以维护多少消费者？

有一个基本示例，它对1个消费者起作用。它接收消息。但是添加一个额外的消费者将被忽略。 consumer2的“22”事件从未引发问题。如果我使用命令行工具检查该主题，则该主题的数据存在

我是Kafka的新手。我看了一眼Kafka文档。似乎分派给订阅消费者组的消息是通过将分区与消费者实例绑定来实现的。 在使用Apache Kafka时，我们应该记住一件重要的事情，即同一消费者组中的消费者数量应该小于或等于所使用主题中的分区数量。否则，将不会收到来自主题的任何消息。 在非prod环境中，我没有配置主题分区。在这种情况下，Kafka是否只有一个分区。如果我启动共享同一组的多个消费者并向

我正在尝试使用Kafka从Kafka主题中读取数据。python代码中的ReadFromKafka（）方法。我的代码如下所示： 但下面是错误消息。

我正在评估用作事件总线的不同流媒体/消息服务。我正在考虑的一个方面是每项服务提供的订购保证。我正在探索的两个选项是AWS Kinesis和Kafka，从较高的层次来看，它们似乎都提供了类似的订购保证，其中记录保证以仅在该碎片/分区中发布的相同顺序使用。 AWS Kinesis API似乎公开了父分片的id，因此使用KCL的消费者组可以确保具有相同分区键的记录可以按照发布顺序（假设是单线程发布者）被

我正在使用confluent JDBC连接器连接到postgres数据库，以检索更改并将其放在Kafka主题中。现在，我想使用spring boot消费者来使用这些消息。这些消息采用AVRO格式。我从连接器中获得了模式，并使用avro-maven插件为其生成了一个POJO类。 但是当侦听器启动时，只有以下错误 当我不使用avro对数据进行反序列化时，我会收到数据但不可读。 在pom中。xml我有以

我们在当前的基础架构中安装了普通的apache Kafka，并开始记录一些我们想要使用Kafka Connect处理的数据。目前，我们使用Avro作为消息格式，但我们的基础架构中没有模式注册表。将来，我们计划用Confluent替换当前堆栈，并使用Schema Registry和Connect，但在一段时间内，我们只需要为此部署Connect。 是否可以以某种方式配置连接接收器，以便它们使用显式a

合流模式注册表当前支持json模式。spring kafka是否支持json模式？ 使用此配置，带有spring kafka的Avro运行良好 但如何配置spring kafka以使用json模式汇合模式注册表？

嗨，我正在使用KafkaCLI，以清楚地了解Kafka的工作原理。我对消费者群体感到困惑。我用三个分区创建了主题。我将创建producer，为主题提供一些数据。第一次我添加了一些数据，如下所示。 现在我的理解是user1、user2、user3会随机到三个不同的分区。 创建消费群时，如下所示。 这将给我所有的user1、user2、user3。 现在，在一个消费者组中，我可以有许多消费者。如果消费

我有一个在node-kafka驱动的node.js上运行的kafka消费组。当这个消费组处于活动状态或处于活动状态时，我希望看到它被kafa-消费组CLI报告。 kafka消费者组CLI确实显示了控制台消费者，而不仅仅是节点消费者。 我可以在Kafka工具中看到节点使用者组。它不会显示在Kafa consumer groups CLI输出中

假设我有一个Kafka主题，大约有10个分区，我知道每个消费群体应该有10个消费者在任何给定的时间阅读该主题，以实现最大的平行性。 然而，我想知道，对于一个主题在任何给定时间点可以处理的消费者群体的数量，是否也有任何直接规则。（我最近在一次采访中被问及这一点）。据我所知，这取决于代理的配置，以便在任何给定的时间点可以处理多少个连接。 然而，我只是想知道在给定的时间点可以扩展多少个最大消费群体（每个

我知道一个消费者组中活动消费者的最大数量是一个主题的分区数。 对于处理速度较慢的消费者，最佳做法是什么？如何实现更多的并行性？ 例如：一个主题有6个分区，生产者每秒生成数千条消息。所以我在这个群体中最多有6个消费者。考虑到处理这些消息很复杂，而且消费者比生产者慢得多。结果是，消费者总是落后于最后一个补偿，而滞后正在增加。 在传统的MQ系统中，我们只需添加越来越多的使用者以保持最新。 如何使用Kaf

我过去曾与Kafka合作过一点，最近需要将部分数据管道移植到AWS Kinesis Stream上。现在我读到Kinesis实际上是Kafka的一个分支，并且有许多相似之处。 然而，我没有看到如何让多个消费者从同一个流中读取数据，每个消费者都有相应的偏移量。每个数据记录都有一个序列号，但我找不到特定于消费者的任何内容（Kafka组Id？）。 在同一个AWS Kinesis Stream上，真的有可

我正在构建一个应用程序，该应用程序不断附加到缓冲区，而许多阅读器独立地从该缓冲区中消费（写一次读多/WORM）。起初我想使用Apache Kafka，但由于我更喜欢即服务选项，我开始研究AWS Kinesis Streams KCL，似乎我可以用它们完成这项任务。 基本上，我需要两个特性：排序（所有读卡器必须以相同的顺序读取事件）和在缓冲区中选择读卡器开始消费的偏移量的能力。 现在我也在评估谷歌云

我正在考虑使用模式来验证Kafka主题的数据。我正在结合apache kafka探索spring云模式注册表。 如果我在阅读文档后理解正确。Spring云模式注册表仅支持avro模式！在avro pojos中，需要使用类路径上的. avsc文件生成pojos，并且有一个maven插件可以完成所需的工作。 问题： 如果我的POJO上有这样的自定义验证呢？我不想在我的Kafka消费者中使用avro模式