当前位置: 首页 > 知识库问答 >
问题:

把Kafka的话题分开有什么好处吗

尚景焕
2023-03-14

我正在开发一个Application/Kafka集群,它将产生/消费一个主题的消息(大约每秒100K)。消息格式是相同的,所以我最初的想法是为所有消息都设置一个单一的主题。

然而,Kafka把这些信息分成多个主题有什么好处吗?有一个逻辑分离可以应用,它可以将主题拆分为多个(10ISH)主题。

除了产品的生产者和消费者。Kafka本身是否有任何关于性能,冗余,稳定性,管理等的偏好,通过一个大的主题和多个小的主题?

共有1个答案

司寇书
2023-03-14

主题分区是并行化Kafka的常用方法,但是如果需要,您也可以选择将其拆分为多个主题。但我将首先研究事物的分区方面。这里有一篇关于如何选择正确数量的分区的文章。特别要注意的是,如果您在键上进行分区,那么在实际情况下添加分区可能会导致数据分裂,所以尽可能提前考虑清楚。

 类似资料:
  • 问题内容: 我是Java开发人员,我想知道如何在Java程序中使用Scala? 问题答案: 去阅读 Daniel Spiewak 关于Scala 的优秀博客系列。使用Scala,您可以保持: 您所有的Java库 在JVM上运行的所有优势(普遍性,管理工具,性能分析,垃圾回收等) 但是您可以编写Scala代码: 比Java更简洁明了(尤其是使用更多的 功能 样式,例如在collections库中)

  • 我想知道简单主题和分区主题之间的区别是什么。根据我的理解,为了平衡负载,主题已经被分区,每个消息都有偏移,使用者将确认以确保先前的消息已经被确认。如果没有分区和使用者不匹配,由kafka完成的重新平衡会有效地管理。 如果创建多个主题而不是分区,是否会影响操作效率。

  • 我是新的Kafka流,我正在使用它使一个主题的确切拷贝到另一个不同的名称。本主题有几个分区,我的制作者正在使用自定义分区。输出主题是用输入主题相同数量的分区预先创建的。 在我的应用程序中,我做了(我正在使用Kotlin): 除了分区(当然,我使用的是自定义分区器)之外,这是可行的。有没有一种简单的方法可以使用输入记录的相同分区将输入记录复制到输出主题? 显然,我可以在接收器中使用自定义分区器,但这

  • 问题内容: 我的应用程序中有一些内存泄漏。它们都起源于一个特定的视图集群,我花了大量时间进行调整,并尝试减少尽可能多的上下文传递。这使我相信群集中使用的位图就是问题所在。因此,我考虑将WeakReferences用于所有对视图使用的位图的引用。我从未使用过WeakReference,并且不确定这是否是一个好的应用程序。任何机构都可以提供有用的指示或技巧吗? 问题答案: 因此,我考虑将WeakRef

  • 本文向大家介绍create-react-app有什么好处?相关面试题,主要包含被问及create-react-app有什么好处?时的应答技巧和注意事项,需要的朋友参考一下 The real tough part of react is webpack, by create-react-app we can just use the React out of the box. And it's re

  • 问题内容: 使用Go编程语言;指针如何变得有用? (如果它们没有真正的用处,为什么不非法呢?) 问题答案: 任何数据类型的有用性取决于要解决的问题和用于解决该问题的方法。如果数据类型不适合该问题,那么它根本就不适合该问题,仅此而已。 Go编程语言(以及大多数其他编程语言)基于程序员可以用来构建新数据类型的 简单 规则。其中一些规则是: :创建一个指向T的新数据类型 :Ts数组 :包含T作为组成部分