当前位置: 首页 > 知识库问答 >
问题:

麦克斯·林。航班请求。每连接Kafka生产者配置

俞博涛
2023-03-14

我有一个关于最大值的问题。航班请求。每连接Kafka生产者配置。此配置适用于发送到代理的每封邮件还是批处理中的所有邮件?

例如,如果我的批处理大小为16KB,每条消息的大小为1KB,则批处理将有16条消息。

如果麦克斯在。航班请求。每连接值为1,那么生产者是否会从该批发送一条消息,并在从该批发送下一条消息之前等待确认?

生产者将发送批处理中的所有消息,并在发送下一个批处理之前等待确认?

共有1个答案

楚勇
2023-03-14

max.in.flight.requests.per.connection(流水线)

此属性在生产者max.in.flight.requests.per.connection属性上配置。此属性适用于批量消息,而不是单个消息。

麦克斯·林。航班请求。每connection=1意味着一次将发送一批记录,并等待代理没有收到响应。

在阻塞之前,客户端在单个连接上发送的最大未确认请求数。如果此设置大于1,则当生产者将分组的批次发送给代理时,将使用管道。

这提高了吞吐量,但如果发送失败,则存在由于重试(如果启用了重试)而导致无序交付的风险。

还要注意,过度的流水线操作会降低吞吐量。

 类似资料:
  • 我有一组Kafka代理实例作为集群运行。我有一个客户正在生产数据给Kafka: 当我们使用tcpdump进行监控时,我可以看到只有到broker1和broker2的连接被建立,而对于broker3,没有来自我的生产者的连接。我有一个只有一个分区的单一主题。 我的问题是: > 为什么在我的情况下,我无法连接到broker3?或者至少我的网络监控没有显示我的制作人与broker3建立了连接? 如果我能

  • kafka-python(1.0.0)在连接到代理时抛出错误。同时 /usr/bin/kafka-console-producer和 /usr/bin/kafka-console-consumer正常工作。 Python应用程序过去也运行良好,但是在动物园管理员重新启动后,它不再能够连接。 我使用文档中的裸露骨骼示例: 我收到这个错误: 单步通过( /usr/lib/python2.6/site-

  • 我们目前在HDF(Hortonworks Dataflow)3.3.1上,它捆绑了Kafka 2.0.0,并且正在尝试使用分布式模式下的Kafka Connect,以推出一个Google Cloud PubSub接收器连接器。我们正在计划将一些元数据发回到Kafka主题中,并且需要将一个Kafka生产者集成到Sink任务Java代码的flush()函数中。 这是否会对Kafka Connect向K

  • 前期回顾 其中channel.finishConnect()中完成建立连接,调用了 sender的run(),继续分析 其中步骤五和步骤七: 会把发往同个broker上面partition的数据组合成为一个请求,然后统一一次发送过去,这样子就减少了网络请求。调用send() 调用selector的send() 调用kafkachannel的setsend() 开始发送数据 sender里面的pol

  • 基本没问八股 1:自我介绍 2:单例模式(答的还不错),给个例子 3:面向对象特性,好处 4:抽象的概念(这问题太抽象了,答得像坨屎) 5:验证码登陆如何实现,给个思路 6:二维码登录如何实现,给个思路 7:抽象类,给个例子 8:数据库分页查询,(差点忘了limit的参数,后面想起来告诉面试官了) 大概就这些吧,基本没八股,面试官说了很多次让我用自己的话说,不要生搬硬套。 中途还被隔壁研究生实验室

  • 现在我正面临着连接生产者/消费者的问题。 > 我使用以下命令创建了一个客户端密钥存储库, 将CA证书添加到密钥库, 警告与节点-1的连接在身份验证期间终止。这可能表明身份验证由于凭据无效而失败。(org.apache.kafka.clients.NetworkClient) 怀疑我在客户端配置中缺少了什么。如有任何帮助,将不胜感激。