用于使用消息文本文件的Kafka

Question

我需要订阅实时消息文件，这些消息文件可能是在pub-sub模型上从客户端已有的MQ设置发布的。当我订阅MQ的主题以接收消息文件时，我是否应该使用Kafka只获取文件，然后处理它们并使用任何更好的API（如Python）存储在我的文件系统中？我期待一个如下的设置：-

客户的MQ---->Kafka Setup<-----API接收和处理(Python)---->文件系统

当文件发布到Kafka时，我是否应该使用Python与Kafka经纪人对话以接收文件进行进一步处理？

注意：我不希望消息文件内容在不同的分区中被打破。相反，我希望完整的文件被发布和使用。

Answer 1

我想要完整的文件发布和消费。

Kafka不是用来传送文件的。它的默认最大消息大小仅为1MB（如果将其设置得比5MB高得多，则只会使代理连接和存储过载）。

相反，您应该设置一个共享文件系统（如FTP、NAS、HDFS、S3等），然后只通过Kafka发送文件的URI，然后在用户中读取消息后连接到该文件系统。这样，您就有了小消息，并且不需要处理分区和排序，因为您只需要对存储整个文件的外部系统进行引用。

任何语言都行得通。