使用Kafka处理大邮件

Question

如何处理Kafka中的大型消息，如超过20MB等。

[2019-03-13 08:59:10923]向主题测试发送消息时出错，键为13字节，值为11947696字节，有错误：（org.apache.kafka.clients.producer.internals.ErrorLoggingCallback）org。阿帕奇。Kafka。常见的错误。RecordTooLargeException:请求包含的消息大于服务器将接受的最大消息大小。

[2019-03-13 03:59:14478]向主题测试发送消息时出错，键为13字节，值为11947696字节，有错误：（org.apache.kafka.clients.producer.internals.ErrorLoggingCallback）org。阿帕奇。Kafka。常见的错误。RecordTooLargeException：序列化时消息为11947797字节，大于您使用max.request配置的最大请求大小。大小配置。

Answer 1

我们需要设置以下配置

经纪人

复制品取来max.bytes：对该属性的更改将允许代理中的副本在集群内发送消息，并确保消息被正确复制。如果该值太小，则消息将永远不会被复制，因此，使用者将永远不会看到消息，因为消息将永远不会被提交（完全复制）。

消息max.bytes：这是代理可以从生产者接收的消息的最大大小。

经纪人（主题）

max.message.bytes：Kafka允许的最大记录批量大小。如果增加了这一点，并且有大于0.10.2的消费者，消费者的读取大小也必须增加，以便他们可以读取如此大的记录批次。在最新的消息格式版本中，为了提高效率，记录总是分组成批。在以前的消息格式版本中，未压缩的记录不会分组成批，在这种情况下，此限制仅适用于单个记录（默认为代理的message.max.bytes）。

制作人

最大请求。大小：请求的最大大小（字节）。此设置将限制制作者在单个请求中发送的记录批数，以避免发送大量请求。这实际上也是最大记录批量大小的上限。请注意，服务器对记录批量大小有自己的上限，这可能与此不同。

压缩。类型：设置为snappy，这将增加可随单个请求发送的数据总量，并且应与更大的批配对。大小

缓冲器内存：如果已启用压缩，则缓冲区大小也应增大。

一批大小：批处理大小应至少为10s的KB，在300kb左右可以看到递减的返回（远程客户端更少）。批量越大，压缩比也越高。

linger.ms：linger.ms抢占放置在批次大小上的任何边界。增加此值以确保在较慢的生产时间内不会发送较小的批次

消费者

取来消息max.bytes：这将确定消费者可以获取的消息的最大大小。

最大分区数。取来字节：服务器将返回的每个分区的最大数据量。