当前位置: 首页 > 知识库问答 >
问题:

Kafka生产者错误 主题:XXXXXX 的 10 条记录过期:自批量创建加上延迟时间以来已经过去了 6686 毫秒

杨腾
2023-03-14

Kafka版本:0.10.2.1,

Kafka Producer error Expiring 10 record(s) for TOPIC:XXXXXX: 6686 ms has passed since batch creation plus linger time
org.apache.kafka.common.errors.TimeoutException: Expiring 10 record(s) for TOPIC:XXXXXX: 6686 ms has passed since batch creation plus linger time

共有3个答案

倪举
2023-03-14

我在aks集群中遇到过同样的问题,重启kafka和zookeeper服务器就解决了这个问题。

柳俊健
2023-03-14

我有相同的消息,我修复了它从动物园管理员那里清理Kafka数据。之后它开始工作了。

胡劲
2023-03-14

出现此异常是因为您正在以比发送记录快得多的速度对记录进行排队。

当您调用发送方法时,生产记录将存储在内部缓冲区中以发送到代理。一旦缓冲了生产者记录,该方法将立即返回,而不管它是否已发送。

记录被分组到批处理中以发送到代理,以减少每条消息的传输监听并提高吞吐量。

将记录添加到批处理中后,发送该批处理有时间限制,以确保在指定的持续时间内发送。这由生产者配置参数 request.timeout.ms html" target="_blank">控制,该参数默认为 30 秒。查看相关答案

如果该批次的排队时间超过超时限制,则会引发异常。该批次中的记录将从发送队列中删除。

生产者配置 block.on.buffer.full、metadata.fetch.timeout.ms 和 timeout.ms 已被删除。它们最初在 Kafka 0.9.0.0 中被弃用。

因此,尝试增加 request.timeout.ms

不过,如果你有任何关于吞吐量的问题,你也可以参考下面的博客

 类似资料:
  • 下面是我用来推送主题的方法: 使用命令shell脚本 ./kafka-console-producer.sh--broker-list 10.0.1.15:9092--主题DomainEntityCommandStream ./kafka-console-consumer.sh--boostrap-server 10.0.1.15:9092-topic DomainEntityCommandStr

  • 本文向大家介绍8085中产生时间延迟,包括了8085中产生时间延迟的使用技巧和注意事项,需要的朋友参考一下 在本节中,我们将看到如何使用8085程序生成时间延迟。该延迟将在不同的地方使用,以模拟时钟,计数器或其他区域。 当执行延迟子例程时,微处理器不执行其他任务。对于延迟,我们使用指令执行时间。在循环中执行一些指令,会产生延迟。有一些产生延迟的方法。这些方法如下。 使用NOP指令 使用8位寄存器作

  • 在多次尝试并更改bat文件后,我终于成功地在Windows 7中运行了Kafka和Zookeeper。这是一台运行Java 7的32位计算机。但不幸的是,我无法创建主题。我尝试在这里使用教程:http://janschulte.wordpress.com/2013/10/13/apache-kafka-0-8-on-windows/ 我执行了命令: C:\Cambria\kafka_2.8.0-0

  • 这是我的密码。

  • 我有一个单节点,多(3)代理Zookeeper/Kafka设置。我使用的是Kafka0.10 Java客户端。 我写了以下simple remote(在不同于Kafka的服务器上)Producer(在代码中,我用MYIP替换了我的公共IP地址): 这3个代理的服务器属性如下所示(在3个不同的服务器属性文件中,Broker.ID为0、1、2、listeners为plaintext://:9092、p

  • 我们在生产方面面临以下问题: 是因为无效的配置,如批量大小、请求超时或其他原因吗?