提高Kafka Producer的性能

Question

我们运行在apache kafka 0.10.0. x和Spring 3. x上，不能使用Spring kafka，因为它支持Spring框架版本4. x。

因此，我们使用原生的Kafka Producer API来生成消息。

现在我关心的是我的制片人的表现。问题是我相信有人打电话给制片人。send是真正连接到Kafka broker，然后将消息放入缓冲区，然后尝试发送，然后可能会调用生产者中提供的回调方法。send（）。

现在，KafkaProducer文档表示，它使用一个缓冲区和另一个I/O线程来执行发送，并且应该适当地关闭它们，以避免资源泄漏。

据我所知，这意味着如果我每次调用producer时都会发送100条消息。send（）它尝试连接到代理，这是一个昂贵的I/O操作。

如果我错了，你能纠正我的理解吗？或者建议更好地使用Kafka制作人？

Answer 1

在以下情况下，您需要配置批处理。尺寸，玲儿。太太

1） 如果唱片到达的速度超过Kafka制作人发送的速度。

2） 如果你在各自的主题中有大量的数据，这对你的Kafka制作人来说真的是一个负担。

3）如果你有瓶颈

batch.size = 16_384 * 4
 linger.ms 200
compression.type = "snappy"

props.put(ProducerConfig.BATCH_SIZE_CONFIG, 16_384 * 4);
    // Send with little bit buffering
    props.put(ProducerConfig.LINGER_MS_CONFIG, 200);    
  //Use Snappy compression for batch compression.
    props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "snappy");

Kafka大区

性能调谐

Kafka表演

Answer 2

你的理解部分正确。

正如@leshkin指出的，有一些配置参数可以调整KafkaProducer如何处理要发送的消息的缓冲。

然而，独立于缓冲策略，制作人将负责缓存与主题领袖代理的已建立连接。

事实上，您可以使用connections.max.idle.ms参数（默认为9分钟）调整生产者将保持这种连接的时间。

因此，为了回答您最初的问题，与代理建立连接的I/O成本仅在第一次调用send时发生，只要您有数据要发送，I/O成本就会随时间摊销。

Answer 3

Kafka生产商的两个重要配置参数是“批量”。“大小”和“逗留”。小姐。所以你基本上有一个选择：你可以等到生产商的批次满了，或者生产商超时。

>

一批。大小–这是Kafka Producer在发送前尝试批处理的消息数的上限–以字节为单位指定。

徘徊ms–为了允许在同一批中累积更多消息，制作人在发送之前要等待多长时间。

这取决于您的用例，但我建议您仔细查看这些参数。