flume、spark、storm能循环阅读Kafka的作品吗？

Question

我有3个分区：0、1、2。因此，这些消息可以分为0、1、2。

eg：

1消息在分区0:0

分区1中的3条消息：111

分区2中的2条消息：22

如何使消费者以012x12x1x的顺序使用消息（x表示当时没有消息）。已消费消息的顺序如下所示：012121。我想在C和Python中都这样做。从现有的客户端来看，消息可以以循环方式生成，但不能以循环方式消费。

任何想法？

Kafka消费者配置（http://kafka.apache.org/documentation.html#consumerconfigs）中partition.assignment.strategy。我正在寻找一些工具，实现这个配置（如水槽，火花，Storm）从Kafka读取数据，重新排序，并再次写入Kafka。继续上面的例子。重新排序的消息看起来像：012121 (012x12x1x）

使现代化

现在，我可以在C Kafka客户端（https://github.com/edenhill/librdkafka）中执行此操作。

    for(int i = 0; i < 2; i++)
    {
        RdKafka::Message *msg = m_consumer->consume(m_topic, i, 1000);
        // Do something about msg here...
    }

输出：

Reading from 1=>4953---1---
Reading from 0=>46164---0---
Reading from 1=>4954---1---
Reading from 0=>46165---0---
Reading from 1=>4955---1---
Reading from 0=>46166---0---
Reading from 1=>4956---1---
Reading from 0=>46167---0---
Reading from 1=>4957---1---
Reading from 0=>46168---0---

Answer 1

在Java中，您可以使用高级使用者。

如果您使用相同的group.id在同一个进程中使用所有3个分区，您可以创建3个充当消费者的工作线程，并以循环方式在它们之间循环。

我知道您明确提到Python和C是您的目标语言
根据我自己在Python中的经验，Java中提供的高级使用者是无与伦比的。

因此，您可以以某种方式包装它，例如创建一个新的Java进程作为服务器，并通过该进程消耗消息，或者您可以尝试将高级消费者移植到Python和/或C。

另一种选择是使用每个分区，将数据写入其他介质，如MySQL（或任何其他RDBMS），并使用SQL使用消息执行循环，最后从相关表中删除它们。

无论如何，我建议你重新考虑Kafka作为你的传输层。您的需求（以循环方式消费）与Kafka的核心设计/架构不一致。原因如下：
只要分区的数量小于消费机器中可用的内核，那么就可以使用单个（！）上的消息机器以循环的方式运行，就像我上面描述的那样。

然而，Kafka也是为分布式负载（消费者）而设计的。这就是为单个主题创建分区的动机。可伸缩性是Kafka的一个关键概念。

因此，如果用户计算机中的分区多于可用的内核，则可能无法正确地迭代分区并以循环方式使用消息。

示例：假设在一个特定主题中有20个分区。本主题始终会产生大量消息。现在让我们假设您有一台具有4个CPU核心的机器来使用该主题。根据设计，您一次最多可以使用4个分区。将此转换为循环消耗可以通过在html" target="_blank">内存中缓冲有意义的消息量或某种其他机制（这可能导致延迟等其他问题）来实现。这时我们假设所有的分区都是随时可用的，没有影响Kafka的网络问题或磁盘问题。这就是为什么我认为，大规模地将分区“连接回”到其他消息流中并不是一件小事。