kafka new producer无法在其中一个代理关闭后更新元数据

Question

timeoutException：60000 ms后更新元数据失败。

10分钟后，由于Broker2是新的领导者，我希望生产者发送数据给Broker2，但它继续失败，给出了上述异常。lastRefreshMs和lastSuccessfullRefreshMs仍然相同，尽管生产者的metadataExpireMs是30万。

我正在使用Kafka新的生产者方面的生产者实现。

配置参数。

{request.timeout.ms=30000, retry.backoff.ms=100, buffer.memory=33554432, ssl.truststore.password=null, batch.size=16384, ssl.keymanager.algorithm=SunX509, receive.buffer.bytes=32768, ssl.cipher.suites=null, ssl.key.password=null, sasl.kerberos.ticket.renew.jitter=0.05, ssl.provider=null, sasl.kerberos.service.name=null, max.in.flight.requests.per.connection=5, sasl.kerberos.ticket.renew.window.factor=0.8, bootstrap.servers=[10.201.83.166:9500, 10.201.83.167:9500], client.id=rest-interface, max.request.size=1048576, acks=1, linger.ms=0, sasl.kerberos.kinit.cmd=/usr/bin/kinit, ssl.enabled.protocols=[TLSv1.2, TLSv1.1, TLSv1], metadata.fetch.timeout.ms=60000, ssl.endpoint.identification.algorithm=null, ssl.keystore.location=null, value.serializer=class org.apache.kafka.common.serialization.ByteArraySerializer, ssl.truststore.location=null, ssl.keystore.password=null, key.serializer=class org.apache.kafka.common.serialization.ByteArraySerializer, block.on.buffer.full=false, metrics.sample.window.ms=30000, metadata.max.age.ms=300000, security.protocol=PLAINTEXT, ssl.protocol=TLS, sasl.kerberos.min.time.before.relogin=60000, timeout.ms=30000, connections.max.idle.ms=540000, ssl.trustmanager.algorithm=PKIX, metric.reporters=[], compression.type=none, ssl.truststore.type=JKS, max.block.ms=60000, retries=0, send.buffer.bytes=131072, partitioner.class=class org.apache.kafka.clients.producer.internals.DefaultPartitioner, reconnect.backoff.ms=50, metrics.num.samples=2, ssl.keystore.type=JKS}

用例：

1-启动BR1和BR2产生数据（领导者是BR1)

如果生产者发送最新的成功数据给BR1，然后所有经纪人都关闭了，生产者期望BR1重新站起来，尽管BR2是新的领导者。这是意料之中的行为吗？

Answer 1

花了几个小时后，我弄清楚了Kafka在我情况下的行为。可能这是一个bug，也可能是由于隐藏的原因需要这样做，但实际上，如果我要做这样的实现，我不会这样做：）

当所有代理都关闭时，如果您只能启动一个代理，那么这个代理必须是最后关闭的代理才能成功生成消息。

假设你有5个经纪人；BR1、BR2、BR3、BR4和BR5。如果所有的代理都关闭了，并且最后一个死亡的代理是BR3（它是最后一个领导者），尽管您启动了所有的代理BR1、BR2、BR4和BR5，但除非启动BR3，否则这将没有任何意义。