异步Kafka Producer批量大小alinger.ms
我有一个关于优化kafka异步生产者吞吐量的问题：配置批处理。大小和逗留。ms在使用异步生成器时会产生影响吗？
我这样问是因为我认为这些参数只会影响同步生产者，因为它将等待代理确认。在异步生产者的情况下，这不会产生影响吗？
此外，是否有任何配置参数可以优化异步生成器？
共有1个答案
这两个属性对异步Kafka制作者都有影响：
linger.ms-> This instruct the producer upto this configured value(ex:2 millisecond) if batch size is not fill up. There will be latency of 2 ms in case message flow is low.
batch.size -> Message buffer size that will be send in single request. Higher batch size also request more memory (buffer.memory)
acks=all , Slowest but most durable configuration, wait for acknowledgement of all message sent.
有关详细信息，您可以通过Kafka文档：https://kafka.apache.org/23/javadoc/org/apache/kafka/clients/producer/KafkaProducer.html
-
有没有办法为Spring的NamedParameterJdbcTemplate对象设置批处理大小？ 在我的项目中，我遇到了一些OutOfMemory问题，但我能够通过在一个较小的块循环中调用NamedParameterJdbcTemplate来解决它。但这需要一些额外的努力，比如确定块大小，将一个大列表拆分成更小的子列表等等。 我想知道NamedParameterJdbcTemplate是否有这样
-
问题内容： 该程序一个接一个地执行数以万计的连续插入。我以前从未使用过Hibernate。我的性能变得非常慢（如果我只是手动连接并执行SQL，我的速度会提高10-12倍。根据许多hibernate教程，我的batch_size设置为50。 这是单个插入的日志-也许您可以帮助我准确了解正在发生的事情： 问题答案： 当您调用时，hibernate将生成一个INSERT SQL。该INSERT SQL将
-
问题内容： 该程序一个接一个地执行数以万计的连续插入。我以前从未使用过Hibernate。我的性能变得非常慢（如果我只是手动连接并执行SQL，则速度会提高10-12倍。根据许多休眠教程，我的batch_size设置为50。 这是单个插入的日志-也许您可以帮助我准确了解正在发生的事情： 问题答案： 当您调用时，hibernate将生成一个INSERT SQL。该INSERT SQL将附加在刷新期间（
-
我最近一直在学习LMAX干扰器，并在做一些实验。令我困惑的一件事是EventHandler的onEvent处理程序方法的endOfBatch参数。考虑我的以下代码。首先，我调用的伪消息和使用者类Test1和Test1Worker： 请注意，我设置了500毫秒的延迟，以替代一些实际工作。我还在控制台中打印 然后我的驱动程序类（作为生产者）被称为DisruptrTest： 在这里，在初始化所需的内容之
-
目标- 到来自（源）MQ队列的消费者消息并发布到 a） 另一个（目标）MQ队列和 b）事务中的Kafka主题，从而避免在MQ或Kafka发布失败的情况下从源MQ中删除消息。 使用的框架 Spring启动版本-2.1.5 Spring JMS-5.1.7 SpringKafka-2.2.6 融合Kafka-5.3 MQ-9 Kafka **应用程序配置类* 实际消费者和发布代码 主Spring靴类
-
我在调试中不断看到这个错误。登录cassandra， 在这个里面 因此，根据Cassandra中的这个标签，https://github . com/krasserm/akka-persistence-Cassandra/issues/33，我看到这是由于输入有效负载大小的增加，所以我将cassandra.yml中的< code > commit log _ segment _ size _ in