我如何用Kafka发送大的消息（超过15MB)？

Question

（异常出现在生产者中，我在这个应用程序中没有消费者。）

我该怎么做才能摆脱这个例外呢？

private ProducerConfig kafkaConfig() {
    Properties props = new Properties();
    props.put("metadata.broker.list", BROKERS);
    props.put("serializer.class", "kafka.serializer.StringEncoder");
    props.put("request.required.acks", "1");
    props.put("message.max.bytes", "" + 1024 * 1024 * 40);
    return new ProducerConfig(props);
}

4709 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with correlation id 214 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
4869 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with    correlation id 217 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5035 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with   correlation id 220 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5198 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with correlation id 223 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5305 [main] ERROR kafka.producer.async.DefaultEventHandler  - Failed to send requests for topics datasift with correlation ids in [213,224]

kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
at kafka.producer.async.DefaultEventHandler.handle(Unknown Source)
at kafka.producer.Producer.send(Unknown Source)
at kafka.javaapi.producer.Producer.send(Unknown Source)

Answer 1

您需要调整三个（或四个）属性：

• 使用者端:fetch.message.max.bytes-这将确定使用者可以获取的消息的最大大小。
• 代理端:replica.fetch.max.bytes-这将允许代理中的副本在集群内发送消息，并确保正确复制消息。如果这太小，那么消息将永远不会被复制，因此，使用者将永远不会看到消息，因为消息将永远不会提交（完全复制）。
• 代理端:message.max.bytes-这是代理可以从生产者接收的最大大小的消息。
• 代理端（每个主题）:max.message.bytes-这是代理允许附加到主题的最大消息大小。此大小是在压缩前验证的。（默认值为Broker的message.max.bytes。）

我发现了第二个问题--你不会从Kafka那里得到任何异常、消息或警告，所以当你发送大的消息时，一定要考虑到这一点。