将配额应用于Kafka Connect消费者组
我让Kafka连接JDBC接收器连接器写入各种数据库，我想节流到一个数据库的流量。Kafka配额功能可以为客户端ID设置consumer_byte_rate配额，但Kafka连接客户端ID类似于consumer-1234，并动态分配给连接器。因此，如果我的接收器连接器重新平衡，它将被分配所有新的客户端ID。我尝试使用接收器连接器使用者组ID作为客户端ID来设置配额，但这不起作用。有没有办法为一个Kafka连接的消费群体设定一个配额？
共有1个答案
如果升级到Apache Kafka2.3，您将从KIP-411中受益：使默认的Kafka Connect worker任务客户端ID不同。你可以在这里看到它的一个例子。但是，您必须测试client-id是否是确定性的，因为配额不能使用通配符。
-
我们运行一个集群工作线程应用程序，该应用程序依赖于 Kafka 使用高级消费者 API 使用消息。群集中的所有节点共享同一个使用者组。现在我们想要的是将该逻辑的一部分迁移到 Kafka 流处理器 API。这里的方法是什么？如果分配了相同的 groupId/clientId，流拓扑是否会与现有使用者就消息进行斗争？我们应该分配不同的 groupId/clientId 吗？流式传输拓扑？说“组”。 “
-
是否有一种方法以编程方式访问和打印使用者滞后偏移，或者说使用者读取的最后一条记录的偏移与某个生产者写入该使用者分区的最后一条记录的偏移之间的位置差。 要知道我的最终目标是将这个值发送到prometheus进行监视，我应该在上面添加哪些语句来得到滞后偏移值？
-
heroku的免费750小时是每个应用程序单独提供的，还是在所有应用程序中总共共享750小时？ 从他们的网站： "您创建的每个应用程序都可以免费访问每月750个动态小时和一个入门级数据库。" 然而，从StackOverflow的另一个答案： ”Heroku提供，免费，1 dyno.dyno是运行和响应请求的应用程序的实例。如果您的应用程序的每个实例可以在100ms内为每个请求提供服务，那么您可以使
-
我已经用Apache ActiveMQ和一个简单的应用程序创建了一个JMS代理，该应用程序将消息纳入队列OK。 我想创建另一个简单的应用程序，使用MDP异步出列这些消息。以下是我到目前为止所拥有的一个例子： 现在我大概需要一个main方法，但是如果消息到达队列时监听器会异步调用onMessage方法，我不确定如何编写代码： 谢谢你的帮助。
-
我花了几个小时想弄清楚发生了什么，但没能找到解决办法。 这是我在一台机器上的设置： 1名zookeeper跑步 我正在使用kafka控制台生成器插入消息。如果我检查复制偏移量（
-
我是Kafka的新手，我对消费者的理解是，基本上有两种类型的实现 1）高级消费者/消费者群体 2）简单消费者 高级抽象最重要的部分是当Kafka不关心处理偏移量，而Simple消费者对偏移量管理提供了更好的控制时使用它。让我困惑的是，如果我想在多线程环境中运行consumer，并且还想控制偏移量，该怎么办。如果我使用消费者组，这是否意味着我必须读取存储在zookeeper中的最后一个偏移量？这是我