kafka客户端正在向代理发生故障的分区发送请求

Question

我正在使用kafka节点模块向kafka发送消息。在集群环境中，我有一个主题，其中有3个分区，复制因子为3。

主题描述是-

Topic:clusterTopic      PartitionCount:3        ReplicationFactor:3    Configs:min.insync.replicas=2,segment.bytes=1073741824
        Topic: clusterTopic     Partition: 0    Leader: 1       Replicas: 1,2,3 Isr: 1,2,3
        Topic: clusterTopic     Partition: 1    Leader: 2       Replicas: 2,3,1 Isr: 1,2,3
        Topic: clusterTopic     Partition: 2    Leader: 3       Replicas: 3,1,2 Isr: 1,2,3

生产者配置 -

        "requireAcks": 1,
        "attributes": 2,
        "partitionerType": 2,
        "retries": 2

当我发送数据时，它遵循分区类型作为循环（2）像轮循机制一样

当我按照以下步骤操作时

• 获取连接到Kafka：9092，Kafka：9093的高级处理器实例
• 发送消息
• 手动停止Kafka服务器：9092
• 尝试使用高级处理器发送另一条消息，send（） 将触发回调并显示错误：超时错误：请求在 30000 毫秒后超时

我期望的是，如果一个分区不可访问（代理关闭时），生产者应该自动将数据发送到下一个可用分区，但由于异常，我正在丢失消息

例外情况如下-

  TimeoutError: Request timed out after 3000ms
    at new TimeoutError (\package\node_modules\kafka-node\lib\errors\TimeoutError.js:6:9)
    at Timeout.timeoutId._createTimeout [as _onTimeout] (\package\node_modules\kafka-node\lib\kafkaClient.js:980:14)
    at ontimeout (timers.js:424:11)
    at tryOnTimeout (timers.js:288:5)
    at listOnTimeout (timers.js:251:5)
    at Timer.processTimers (timers.js:211:10)
(node:56416) [DEP0079] DeprecationWarning: Custom inspection function on Objects via .inspect() is deprecated
  kafka-node:KafkaClient kafka-node-client reconnecting to kafka1:9092 +3s
  kafka-node:KafkaClient createBroker kafka1 9092 +1ms
  kafka-node:KafkaClient kafka-node-client reconnecting to kafka1:9092 +3s
  kafka-node:KafkaClient createBroker kafka1 9092 +0ms

Answer 1

请发送引导服务器进行确认，但根据手头的信息，我相信您正在经历的情况如下：

• 你min.insync.replicas设置为2
• 您将acks设置为1

通过这些设置，生产者将把事件发送到领导者副本，并假定消息是安全的。

如果在发送后立即失败，并且在关注者赶上之前，您将丢失消息，因为您只等待一个ack。

但是，从代理的角度来看，您指定主题可用的要求是 2 个同步副本。默认情况下，仅允许在同步副本中被选为领导者。由于第一个主题的失败将导致关注者不同步，因此您的主题可能会被迫脱机。您可以在测试中验证这一点，它假设了一些设置。

要纠正，请尝试以下操作：

1. 如果高可用性是最重要的，请设置min.insync。副本到1，acks到1
2. 如果数据丢失不可接受，请设置min.insync。复制副本到2，备份到所有

您还可以将unclean.leader.election.enable设置为true以获得高可用性，因为这将允许不同步的副本被选为领导者，但也有可能丢失数据。