Kafka在一个主题中重新平衡数据由于缓慢（er）消费者

Question

例如，假设我有一个包含4个分区的主题。我给这个主题发4K消息。每个分区获得1K条消息。由于外部因素，3个消费者分别处理了他们所有1K的消息。但是，第四个分区只能通过200条消息，剩下800条消息需要处理。是否有一种机制允许我“重新平衡”主题中的数据，也就是说，给分区1-3 200个分区4s的数据，让所有带有200条消息的分区成为一个进程？

当前分区副本分配

{
  "version": 1,
  "partitions": [
    {
      "topic": "MyTopic",
      "partition": 0,
      "replicas": [
        0
      ],
      "log_\ndirs": [
        "any"
      ]
    },
    {
      "topic": "MyTopic",
      "partition": 1,
      "replicas": [
        0
      ],
      "log_dirs": [
        "any"
      ]
    },
    {
      "topic": "MyTopic",
      "partition": 4,
      "replicas": [
        0
      ],
      "log_dirs": [
        "any"
      ]
    },
    {
      "topic": "MyTopic",
      "partition": 3,
      "replicas": [
        0
      ],
      "log_dirs": [
        "any"
      ]
    },
    {
      "topic": "MyTopic",
      "p\nartition": 2,
      "replicas": [
        0
      ],
      "log_dirs": [
        "any"
      ]
    },
    {
      "topic": "MyTopic",
      "partition": 5,
      "replicas": [
        0
      ],
      "log_dirs": [
        "any"
      ]
    }
  ]
}

建议的分区重新分配配置

{
  "version": 1,
  "partitions": [
    {
      "topic": "MyTopic",
      "partition": 3,
      "replicas": [
        0
      ],
      "log_ dirs": [
        "any"
      ]
    },
    {
      "topic": "MyTopic",
      "partition": 0,
      "replicas": [
        0
      ],
      "log_dirs": [
        "any"
      ]
    },
    {
      "topic": "MyTopic",
      "partition": 5,
      "replicas": [
        0
      ],
      "log_dirs": [
        "any"
      ]
    },
    {
      "topic": "MyTopic",
      "partition": 2,
      "replicas": [
        0
      ],
      "log_dirs": [
        "any"
      ]
    },
    {
      "topic": "MyTopic",
      "p artition": 4,
      "replicas": [
        0
      ],
      "log_dirs": [
        "any"
      ]
    },
    {
      "topic": "MyTopic",
      "partition": 1,
      "replicas": [
        0
      ],
      "log_dirs": [
        "any"
      ]
    }
  ]
}

Answer 1

当产生消息时分配分区。它们永远不会在分区之间自动移动。通常，对于每个分区，可以有多个消费者（具有不同的消费者组id）以不同的速度消费，因此代理不能根据消费者（组）的速度在分区之间移动消息。不过，您可以尝试以下几点：

• 更多的分区，希望负载分配更公平（您可以拥有比使用者更多的分区）
• 让生产者显式地在每个消息上设置分区，以便在分区之间生成使用者可以更好地处理的分发
• 让使用者监视它们的延迟，并在它们落后时主动取消对分区的订阅，以便让其他使用者接收负载。