Kafka只流一次消费群体
当我只打开一次处理时，我会得到以下错误。注意：我们的应用程序非常安全，我们只允许Kafka用户和消费者访问他们明确需要的资源。
2019-04-22 15:28:09 INFO (kafka.authorizer.logger)233 - Principal = User:xxx is Denied Operation = Describe from hos
xxx.xxx.xxx.xxx on resource = TransactionalId:application_consumer-0_16
只有一次处理kafka流是否在所有流任务中使用每个流任务的消费者组而不是消费者组？
共有1个答案
启用一次之后，仍然只有一个消费者组与应用程序相同。id。但是，不是每个线程使用一个生产者，而是每个任务使用一个生产者。
你需要的是交易许可。TransactionId错误报告来自任务0_16的生产者。每个生产者使用自己的事务ID，构造为
有关详细信息，请比较文档：https://docs.confluent.io/current/kafka/authorization.html#using-acls
-
当一个组中只有一个消费者，并且认为消费者无法在session.time.out内进行轮询时，将触发重新平衡，但是在这种情况下，组中只有一个消费者，现在假设session.time.out是30秒和消费者民意调查后50秒组协调员将识别消费者后50秒，并允许它提交偏移或协调员将断开消费者和没有偏移得到提交，并将重新平衡消费者与新的消费者标识？如果上次提交的偏移量是345678，在下一次轮询中，它处理了
-
我是Kafka的新手，正在学习Kafka内部知识。请根据需要随时更正我的理解。。 这是我的实时场景..感谢所有的回复: 我有一个接收数据文件的实时FTP服务器…比如索赔文件。 我将把这些数据发布到一个主题中.让我们把这个主题称为claims_topic（2个分区）. 我需要订阅这个claims_topic，阅读消息并将它们写入Oracle和Postgres表。让我们将oracle表称为Otable
-
我在使用Kafka时遇到了一些问题。非常感谢任何帮助！我在docker swell中分别有zookeeper和kafka集群3个节点。您可以在下面看到Kafka代理配置。 我的情况： < li > 20x位制片人不断向Kafka主题传达信息 < li>1x消费者读取和记录消息 < li >终止kafka节点(docker容器停止)，因此现在群集有2个Kafka代理节点(第3个节点将自动启动并加入群
-
我的目标是从主题A消费，做一些处理和生产到主题B，作为单个原子动作。要做到这一点，我有两种选择： null 我已成功验证选项#1。所谓成功，是指如果我的处理失败（抛出IllegalArgumentException），来自主题A的已消费消息将继续被KafKalistener消费。这是我所期望的，因为没有提交偏移量，而使用了DefaultAfterRollbackProcessor。 我希望看到相同
-
我们希望获得Kafka消费群体指标（例如，节流和字节率）。 我们已经使用以下工具完成了此操作： Kafka消费者Java应用程序的JMX Mbean CLI实用程序： bin/kafka-consumer-groups.sh--描述--组group_name--bootstrap-serverlocalhost： port . 问题：这可以通过使用一些Java库以编程方式完成吗？ 到目前为止，我们
-
我在一些关于堆栈溢出的答案中看到，通常在web中也看到，Kafka不支持消费确认，或者消费一次就很难实现。 在以下作为示例的条目中，有没有理由使用RabbitMQ而不是Kafka？，我可以读到以下语句： RabbitMQ将保留已消耗/已确认/未确认消息的所有状态，而Kafka则不保留 或 有人能解释一下为什么Kafka的“一次消费保证”很难实现吗？这与Kafka和RabbitMQ等其他更传统的消息