kafka主题分区的最大复制系数是多少

Question

我有Kafka集群有3经纪人和一对夫妇的主题，每个有5分区。现在我想为分区设置复制因子。

我可以为kafka主题的分区设置的最大复制因子是什么？

Answer 1

代理只能托管分区的单个副本。

因此，如果您的集群有3个代理，那么您可以拥有的最大复制因子是3。

虽然在理论上可以设置一个具有非常大复制因子的主题，但在实践中，将其设置为4以上几乎没有任何好处。副本用于实现高可用性和耐用性，基本上决定了在丢失任何数据之前可以脱机的代理数量。如果您有3个复制副本，则不太可能所有3个代理同时崩溃/失败。

Answer 2

复制因子决定每个分区的复制次数，这允许Kafka在群集中的服务器出现故障时自动故障切换到这些复制副本，以便在出现故障时消息仍然可用

分区副本分布在代理之间，一个代理应该保留一个副本，这意味着我们不能拥有超过代理数量的副本

最大复制因子

这也意味着要确定min.insync。复制副本，这意味着它将始终小于或等于复制因子

min.insync。复制品意味着

min.insync.replicas是您愿意随时在线以继续运行和接受新传入消息的数据的最小副本数。

理想情况下，复制因子3是良好的，如上所述，但是，根据用例，您可以将复制因子调整为小于2（意味着高风险），同时大于3可以提供更好的可用性，但需要更多的开销和更多的大小。

在决定复制因子的同时，也要考虑以下几点：

A） ：代理大小复制因子直接影响整个代理磁盘大小

因此，高复制系数需要更大的磁盘大小

b）大量分区复制：在大量分区复制的情况下，会增加额外的延迟。