Kafka制作批次。大小不起作用

Question

我用的是Kafka1.0，我增加了批量。大小=100K，用于优化我的制作人性能。但我发现，无论我设定的批次是什么，都没有任何效果。尺寸=100K或1000K或仅1K。此外，我还设定了我的逗留时间。ms=5，但这使性能更差。当我调试Kafka producer的源代码时，如下所示：

if (result.batchIsFull || result.newBatchCreated) {
     this.sender.wakeup();
}

我发现了结果的价值。纽巴奇总是正确的，我想这就是为什么这一批。大小没有起任何作用，因为它每次都会唤醒发送者，而不是在batchIsFull=true时。

我现在很困惑，有什么想法吗？

Answer 1

这是一个可能的重复：提高Kafka制作人的表现

但简而言之，批处理。大小和的延迟。ms参数应该一起调整，因为存在一个权衡：

在您的示例中，如果当前批次已满（这个值是以字节为单位的，所以100字节是IMO的最小值），或者发生了延迟超时，生产者将把当前批次发送到服务器。

因此，如果你必须试验和调整这些参数，以找到最佳设置。