发送大量信息Kafka制作人

Question

我在用Kafka。

我有10k个jsons列表，

for(int i=0 ;i< jsonList.size(); i++){
     ProducerRecord<K,V> record = new ProducerRecord(topic, jsonList[i]);
     producer.send(record);
}

ProducerRecord<K,V> record = new ProducerRecord(topic, jsonList);
producer.send(record);

我该怎么做呢？

谢谢

Answer 1

正式使用KafkaProducer和ProducerRecord不能这样做，但可以在ProducerConfig中配置一些属性

document producer将记录批处理成发送到同一分区的请求，并立即发送它们

每当多个记录被发送到同一分区时，生产者将尝试将记录一起批处理成更少的请求。这有助于客户机和服务器的性能。此配置以字节为单位控制默认批处理大小。不会尝试批处理大于此大小的记录。

生产者将在请求传输之间到达的任何记录组合到一个单独的批处理请求中。此设置通过添加少量的人为延迟来实现这一点--也就是说，生产者将等待到给定的延迟，以允许发送其他记录，从而可以将发送的记录批处理在一起，而不是立即发送一条记录。这个设置给出了批处理延迟的上限：一旦我们获得分区的Batch.Size worth记录，它将立即发送，而不管这个设置如何。