kafka服务器TimeoutException：正在过期%1条记录
2018-04-19 15:12:57[kafka-producer-network-thread producer-1]错误O.s.K.s.LoggingProducerListener-向主题xxxxx-v1:org.apache.kafka.common.errors.TimeoutException：自批处理创建后已超过xxxxx-v1-3:60043毫秒的过期1条记录，有效负载=“{79,98,106,1,4,22,97,118,114,111,46,115,99,104,101,109,97,-28,51,123,34,116,12....”的消息发送时引发异常
生产者配置
config.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, x.x.x.x:port);
config.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
config.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, ByteArraySerializer.class);
config.put(ProducerConfig.REQUEST_TIMEOUT_MS_CONFIG, 60000);
config.put(ProducerConfig.BATCH_SIZE_CONFIG, 1048576);
config.put(ProducerConfig.LINGER_MS_CONFIG, 100);
config.put(ProducerConfig.MAX_REQUEST_SIZE_CONFIG, 10485760);
config.put(ProducerConfig.ACKS_CONFIG, "all");
我可以telnet到两个虚拟机，也可以ping它们。
共有1个答案
如果您有两个代理，并且能够向一个代理发送消息，而不能向另一个代理发送消息，则说明您可能错误配置了另一个代理。
检查失败代理的通告侦听器。
advertised.listeners=PLAINTEXT://1.2.3.4:9092
附注：明文是一种协议，在您的情况下可能需要更改。您的制作人必须可以访问该IP。
此外，您可能还希望检查代理上的message.max.bytes或主题上的max.message.bytes大于生产者的max.request.size。要调试这个，尝试发送小消息，如果它们也给出相同的错误，那么这不是问题所在。
引用：Stackoverflow答案
-
我有一个单节点，多（3）代理Zookeeper/Kafka设置。我使用的是Kafka0.10 Java客户端。 我写了以下simple remote（在不同于Kafka的服务器上）Producer（在代码中，我用MYIP替换了我的公共IP地址）： 这3个代理的服务器属性如下所示（在3个不同的服务器属性文件中，Broker.ID为0、1、2、listeners为plaintext://:9092、p
-
我的流应用程序只是从一个记录主题中物化一个KTable。与100K记录在主题，没有问题。但是，由于主题中15M记录，一旦我们得到几百万条记录，实例将崩溃，出现以下异常： Thread“公司-de1f21f9-b445-449e-a59b-5e0cecfa54d1-StreamThread-1”组织中的例外情况。阿帕奇。Kafka。溪流。错误。StreamsException:任务[0_0]中止发送
-
我有一个独立的Kafka经纪人，我试图配置SASL。配置如下。我试图在经纪人身上设置SASL_PLAIN身份验证。 我的理解是，这与听众有关。名称服务器中的配置。属性，我不需要jaas文件。但我已经尝试过一种方法，看看这是否是一种更好的方法。 我对这些命令中的每一个都进行了实验，但都产生了相同的异常。 显示的异常为： KafkaServer启动期间出现致命错误。准备关机。。。找不到“KafkaSe
-
我在用Kafka搭配Spring靴： Kafka制作人班： Kafka配置： 假设我在主题
-
下面是我用来推送主题的方法： 使用命令shell脚本 ./kafka-console-producer.sh--broker-list 10.0.1.15:9092--主题DomainEntityCommandStream ./kafka-console-consumer.sh--boostrap-server 10.0.1.15:9092-topic DomainEntityCommandStr
-
您好，我正在从db中获取日期，其中日期列的类型为“date”，然后将其拆分并串联成字符串存储在db中 当从本地环境执行程序时，它工作正常，时间存储为28-09-2021 15:34:42，当通过服务器执行程序时，它以12小时格式28-09-2021 03:34:42PM存储，这会产生问题并引发错误。如果您有任何关于如何解决此问题的想法，我们将不胜感激。