Kafka话题vs分区话题

Question

我想知道简单主题和分区主题之间的区别是什么。根据我的理解，为了平衡负载，主题已经被分区，每个消息都有偏移，使用者将确认以确保先前的消息已经被确认。如果没有分区和使用者不匹配，由kafka完成的重新平衡会有效地管理。

如果创建多个主题而不是分区，是否会影响操作效率。

Answer 1

从Kafaka的文献中

日志中的分区有几个用途。首先，它们允许日志的规模超过一台服务器所能容纳的大小。每个单独的分区必须适合承载它的服务器，但是一个主题可能有许多分区，因此它可以处理任意数量的数据

为任何给定的主题提供多个分区允许Kafka在Kafka集群中分发它。因此，处理来自不同分区的数据的请求可以在整个集群中的多个服务器之间进行划分。此外，每个分区可以在多个服务器上复制，以最大限度地减少数据丢失。再次从doc页面

因此，只有一个分区的主题不允许您使用这些灵活性。还要注意，在实际生活环境中，您可以使用不同的主题来保存不同类别的消息（尽管也可以使用多个分区的单个主题，其中每个分区在生成时都可以使用messgae键来保存特定类别的消息）。

我不认为创建多个主题而不是分区会对整体性能产生多大影响。但是想象一下，您想要跟踪用户在您的站点中发出的所有tweet。然后，您可以有一个名为“user_tweet”的主题和多个分区，这样，在生成消息时，Kafka可以跨多个分区分发数据，并且在消费者端，您只需要让一组消费者从同一主题中提取数据。相反，保留“user_tweet_1”、“user_tweet_2”、“user_tweet_3”只会在生成和使用消息时使事情变得复杂。