Kafka在大消息排队后“停止工作”

Question

我正在运行kafka2.11-0.9.0.0和一个基于Java的生产者/消费者。与消息~70 KB一切工作良好。但是，在生产者将一个更大的70 MB消息排入队列之后，kafka似乎停止将消息传递给消费者。即。不仅大的消息没有传递，后续的小消息也没有传递。我知道制作人成功了，因为我使用了kafka回调进行确认，我可以在kafka消息日志中看到消息。

kafka配置自定义更改：

message.max.bytes=200000000
replica.fetch.max.bytes=200000000

使用者配置：

props.put("fetch.message.max.bytes",   "200000000");
props.put("max.partition.fetch.bytes", "200000000");

Answer 1

您需要增加消费者可以使用的消息的大小，这样它就不会在试图阅读一个很大的消息时陷入困境。

max.partition.fetch.bytes (default value is 1048576 bytes)

服务器每分区将返回的最大数据量。用于请求的最大总内存将是#partitions*max.partition.fetch.bytes。该大小必须至少与服务器允许的最大消息大小一样大，否则生产者发送的消息可能大于使用者能够获取的消息。如果发生这种情况，使用者可能会在试图获取某个分区上的大型消息时陷入困境。