当前位置: 首页 > 知识库问答 >
问题:

是min.insync。副本配置会影响Kafka生产商的吞吐量吗?

邵繁
2023-03-14

来自Kafka文献

当制作人将ACK设置为“all”(或“-1”)时,此min.insync。副本配置指定必须确认写入才能被视为成功写入的最小副本数。

它表示当同步副本的最小数量确认时,写入成功,但当我使用min.insync运行性能测试时。复制为1和3(对于5个代理设置中的分区=1和R.F=5的主题),带有acks='all'的kafka producer的性能是相同的。

所以,min.insync。副本每主题配置会影响Kafka producer的吞吐量(独立运行)和acks=“all”

共有3个答案

毛德华
2023-03-14

如果您没有设置acks=all和min.insync.replica

鲁峰
2023-03-14

min.insync。replica是必须确认数据已成功接收才能成功写入的最小副本数。

如果您将min.insync.replica设置为3并且acks=all,则吞吐量肯定会受到影响,但如果您将acks=01设置为1,则吞吐量不会受到影响。

衡翰翮
2023-03-14

如果使用acks='all',则在发送回确认或错误之前,领导者会等待同步副本收到消息,因此性能会受到影响。如果min.insync。replica=1,消息写入领导者后,制作者会得到回复。它应该比使用min.insync更快。副本=3 < /COD>在此情况下,生产者等待2个副本才能获取所有消息,然后才能将消息视为提交。

您的结果意味着代理之间的延迟非常低。我相信如果您在不同的数据中心/区域启动代理,您应该会看到差异。

 类似资料:
  • 我们有一个Kafka集群,由3个节点组成,每个节点有32GB内存和6个内核2.5 CPU。 我们写了一个 kafka 制作人,它接收来自 Twitter 的推文,然后分批发送给 Kafka,每批 5000 条推文。 在生产者中,我们使用

  • 我一直在使用SpringIntegration调用RESTAPI,但是SpringIntegration默认附带的http客户端不支持连接池或可重用性,因此我定制了使用PoolighttpClientConnectionManager 但是现在Spring集成停止在我的类路径中拾取JKS文件,所以我构建了自己的SSL上下文,但是构建这个SSL上下文导致了性能的显著下降 对于100个并发线程, 使用

  • 无论从什么角度来看,它都不是。 假设我有两个消费者,它们以每秒“10”条消息的速度从给定主题中消耗数据。现在,不管它们是从单个分区还是从两个不同的分区进行消耗;我的吞吐量将保持不变,每秒20条消息。 我觉得我一定漏了一些内部工作的细节,你能帮我解释一下kafka分区(多个)是如何帮助提高固定用户数量的吞吐量的,而不是单个kafka分区。

  • 我对193个示例运行了一个JMeter测试,平均响应时间为5915ms,Throghput为1.19832。 我只想知道它们到底有什么关系

  • 来自AWS Lambda常见问题解答: Q: 我一次可以执行的AWS Lambda函数的数量是否有限制? 不需要。AWS Lambda旨在并行运行多个函数实例。然而,AWS Lambda的默认安全限制为每个区域每个帐户100次并发执行。如果您希望提交请求以增加100次并发执行的限制,您可以访问我们的支持中心,单击“打开新案例”,然后提交服务限制增加请求。 Q: 如果我的帐户超过并发执行的默认限制,

  • 在大数据存储中,IOPS和吞吐量之间的关键区别是什么