Azure eventhub Kafkaorg.apache.kafka.common.errors.TimeoutException的一些记录

Question

有一个包含80到100条记录的ArrayList，试图将每条记录（POJO，而不是整个列表）流式发送到Kafka主题（event hub）。计划了一个cron作业，比如每小时将这些记录（POJO）发送到事件中心。

能够看到发送到eventhub的消息，但在成功运行3到4次后，会出现以下异常（其中包括发送的多条消息，以及出现以下异常的多条失败消息）

    Expiring 14 record(s) for eventhubname: 30125  ms has passed since batch creation plus linger time

以下是使用的生产者配置，

    props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
    props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
    props.put(ProducerConfig.ACKS_CONFIG, "1");
    props.put(ProducerConfig.RETRIES_CONFIG, "3");

消息保留期-7分区-6使用spring Kafka（2.2.3）发送标记为@Async的事件方法，其中Kafka send被写入

    @Async
    protected void send() {
       kafkatemplate.send(record);
    }

预期-kafka Actual-org不会抛出异常。阿帕奇。Kafka。常见的错误。已抛出TimeoutException

Answer 1

此异常表示您正在以比发送速度更快的速度对记录进行排队。将记录添加到批次后，发送该批次有一个时间限制，以确保在指定的持续时间内发送。这由生产者配置参数request控制。暂停。ms。如果批处理的排队时间超过超时限制，则会引发异常。该批中的记录将从发送队列中删除。

请查看下面的类似问题，这可能会更好。

Kafka制作人TimeoutException:1条记录过期

您也可以查看此链接

当-do-the-apache-kafka-client-stong-a-batch-perided-异常/34794261#34794261的原因有关批次过期异常的更多详细信息。

还要实施适当的重试策略。

注意：这不考虑扫描仪端的任何网络问题。由于网络问题，您将无法发送到任何一个集线器。

希望有帮助。

Answer 2

Prakash——我们已经看到了一些问题，尖头生产者模式会看到批处理超时。

这里的问题是生产者有两个TCP连接可以空闲

• 设置连接。麦克斯，空闲。涂女士

随时联系Github上的EH产品团队，我们对问题的反应相当好-https://github.com/Azure/azure-event-hubs-for-kafka