当前位置: 首页 > 知识库问答 >
问题:

Kafka ConsumerConnector的主题计数参数是什么

邵奇
2023-03-14

我是新的阿帕奇Kafka,并尝试与例子给出。

下面的代码片段用于初始化一个ConsumerConnector,我被topic count参数搞糊涂了;它似乎会导致Kafka为该主题提供相应数量的流。然而,我尝试了几次,只有第一个流产生消息。所以,有两个问题:1。如何确定主题的计数数?2.消息分裂是如何跨越流的?

提前道谢。

    Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
    **topicCountMap.put(topic, new Integer(a_numThreads));**
    Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumer
            .createMessageStreams(topicCountMap);
    List<KafkaStream<byte[], byte[]>> streams = consumerMap.get(topic);

共有1个答案

翟冷勋
2023-03-14

如果我稍有错误,其他用户可以随时纠正我,但是:

我以前看过这个例子,代码通常被初始化为

topicCountMap.put(topic, new Integer(1));

其中一个是整数,因为对于给出的示例,示例主题通常只使用单个分区创建。当您的主题只有一个分区时,就没有并行能力(就像您在同一个组中有多个使用者一样,会有一些使用者实例得不到任何数据),因此,没有理由创建多个流。因此,对于这个单独的分区,只创建了一个流,这就是为什么只有第一个(也是唯一的)流生成消息的原因。

 类似资料:
  • 问题内容: 我刚刚开始用Java编写程序。以下Java代码是什么意思? What is String[] args? When would you use these args? 源代码和/或示例优先于抽象解释 问题答案: 在Java中,包含提供的命令行参数作为对象数组。 换句话说,如果你运行你的程序作为然后将包含。 如果要输出的内容,可以像这样遍历它们…

  • 如果我像下面这样使用,考虑到我不需要接受参数,它不会检测到日食中的 Scala。 它可以与

  • 使用指南 - 统计设置 - 第三方推广管理 - 什么是URL参数? 我们经常可以看到URL后面带有?Par1=xxx&Par2=xxx的类似样式,其中Par1、Par2即为该URL的参数。“?”是参数与URL的链接符,“&”是参数与参数之间的链接符。利用这种方式,我们便可以通过URL来传递信息。 以百度统计中的”指定广告跟踪”功能为例,就是利用在URL中添加指定的参数,实现区分推广页面中的广告信息

  • 我试图了解如何跟踪Kafka的信息摄取。 我们现在遵循的工作流程是清除主题中的所有消息,然后我们用代码更改重新摄取。我需要知道那些代码更改有多成功。在当前状态下,我正在使用Kafka工具,手动刷新消息总数,并将结果保存在csv中,我知道这是不可持续的长期。 你对自动获取Kafka主题中的消息计数有什么建议?理想情况下,我想击中的主题一分钟一分钟的频率,并得到计数,以及窗口的时间,如1天等。

  • 我有一个要求。你能建议一下实现这一目标的可能方法吗。 我想根据每个路由中传递的URL更改应用程序的主题。我正在使用以下技术。-前端:AngularJS-后端:节点。js 例如:localhost/x/关于localhost/y/关于 我通过使用Location传递参数,通过cookies实现了这些。登录时进行搜索。但我在所有路线上都需要那个主题参数。基于这个主题,我们需要改变。有人能提出可能的方法

  • 当我运行这个命令时,我得到2个主题。我知道我创建了测试主题,但我看到了一个名为“__consumer_offsets”的附加主题。从名称来看,它暗示它与消费者补偿有关,但它是如何使用的呢? 这在Kafka 1.1.0中发生,以及为什么有50个分区。也在寻找一种方法来禁用它,因为每次我尝试运行“description”主题时,它首先打印__consumer_offsets的50个分区,然后打印我的主