当前位置: 首页 > 知识库问答 >
问题:

我遇到以下错误,我试图使用Kafka控制台生成器将一个大文件推送到Kafka

邴星洲
2023-03-14

kafka控制台生产者--代理列表本地主机:9092--主题com-hftl2

[2019-12-25 16:09:24476]向主题com-hftl2发送消息时出错,密钥为null,值为20299831字节,错误为:(org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)org。阿帕奇。Kafka。常见的错误。RecordTooLargeException:消息序列化时为20299919字节,大于使用max.request配置的最大请求大小。大小配置。

共有1个答案

蒋芷阳
2023-03-14

该命令将文件的每一行视为其自己的消息。

Kafka默认只允许最大记录大小为1MB。。。如果您真的计划发送比数MB大得多的数据,那么最推荐的模式是使用NFS或S3之类的共享文件系统,然后在记录中发送文件路径,并期望使用者随后单独下载文件

 类似资料: