使用Kafka中所有消息的更快方法-主题

Question

c = Consumer({
    'bootstrap.servers': 'brokers:9092',
    'group.id': 'consume_all_topics',
    'auto.offset.reset': 'earliest'
})

c.subscribe(['mytopic'])

now = datetime.now()
msg = c.poll(5.0)
while msg.value()['timestamp'] < now:
    msg = c.poll(5.0)

Answer 1

“即使我们用相同的group-id设置了多个用户，我们仍然没有太大的性能改进。

关于如何以更快的方式获得Kafka主题的所有信息，有什么提示吗？“

Kafka的消耗随着主题中分区的数量而变化。请记住，一个分区只能由一个使用者组中的一个使用者使用。如果分区数量与使用者组中的使用者数量匹配，您将获得最佳的使用者性能。