消费和产生特定的Kafka分区的消息？
阅读主题中的所有分区：
~bin/kafka-console-consumer.sh--zookeeper localhost：2181--topic myTopic--从头开始
- 如何使用主题的特定分区？（例如使用分区键13)
- 以及如何使用特定分区键在分区中生成消息？有可能吗？
共有1个答案
您不能使用控制台消费者和生产者。但您可以使用更高级别的客户端（使用任何适合您的语言）。
- 例如，您可以使用
assign方法手动分配要使用的特定主题分区(https://github.com/apache/kafka/blob/trunk/clients/src/main/java/org/apache/kafka/clients/consumer/kafkaConsumer.java#L906) - 您可以使用自定义的
分区器来覆盖分区逻辑，您将手动决定如何对消息进行分区(https://github.com/apache/kafka/blob/trunk/clients/src/main/java/org/apache/kafka/clients/producer/producerconfig.java#L206-L208)
-
我正在创建一个系统，其中前端服务将消息推送到Kafka请求主题，并为一些下游后端消费者（实际上是一个最终推送回Kafka的复杂系统）监听另一个响应主题，以处理请求消息并最终推进到“回应”话题。 我试图找出最优雅的方法来确保消费者监听适当的分区并收到响应，并且后端推送到前端消费者正在监听的分区。我们总是需要确保响应到达产生初始消息的同一个消费者。 到目前为止，我有两种解决方案，但都不是特别令人满意的
-
本文向大家介绍Kafka 消费者是否可以消费指定分区消息？相关面试题，主要包含被问及Kafka 消费者是否可以消费指定分区消息？时的应答技巧和注意事项，需要的朋友参考一下 Kafa consumer消费消息时，向broker发出fetch请求去消费特定分区的消息，consumer指定消息在日志中的偏移量（offset），就可以消费从这个位置开始的消息，customer拥有了offset的控制权，可
-
我们将在项目中部署Apache Kafka2.10，并通过JSON对象在生产者和消费者之间进行通信。 到目前为止，我想我需要： 实现自定义序列化程序以将JSON转换为字节数组 实现自定义反序列化器，将字节数组转换为JSON对象 生成消息 读取消费者类中的消息 然而，到目前为止，有问题的2-4分。我在自定义反序列化程序中尝试了这样的操作： 在我的消费者身上，我试着： 我以为这将生成一个正确的原始js
-
在这种情况下，我是否需要求助于Kafka事务API来在消费者轮询循环中创建事务生产者，在该循环中，我在事务中执行：（1）处理消耗的记录和（2）在关闭事务之前提交它们的偏移量。在这种情况下，普通的commitsync/commitasync是否有效？
-
假设我有一个名为“MyTopic”的主题，它有3个分区P0、P1和P2。这些分区中的每一个都有一个leader，并且本主题的数据（消息）分布在这些分区中。 1.Producer将始终根据代理上的负载以循环方式写到分区的领导者。对吗？ 2.制作人如何认识隔断的首领？
-
我知道kafka将一个主题的数据安排在许多分区上，一个消费者组中的消费者被分配到不同的分区，从那里他们可以接收数据： 我的问题是: 术语，它们是由主机/IP标识的，还是由客户端连接标识的？ 换句话说，如果我启动两个线程或进程，使用相同的消费者组运行相同的Kafka客户端代码，它们被认为是一个消费者还是两个消费者？