当前位置: 首页 > 知识库问答 >
问题:

Kafka流的工作分配

通鸿风
2023-03-14
stream(topic)
 .map(somefunction)
 .through(secondtopic)

来自jvisualvm的快照

共有1个答案

祁霖
2023-03-14

您只能拥有与输入Kafka主题分区一样多的线程

一个分区中的消息由一个线程处理,以提供消息传递的总顺序。

实际上,在KafkaStreams中,输入主题分区是均匀分布在任务而不是消息上的。

 类似资料:
  • 主要内容:发布订阅消息传递的工作流,队列消息/消费者组的工作流,ZooKeeper的角色截至目前,我们已经了解了Kafka的核心概念。 现在让我们来看看Kafka的工作流程。 Kafka只是分成一个或多个分区的主题集合。 Kafka分区是消息的线性排序序列,每个消息由其索引标识(称为偏移量)。 Kafka集群中的所有数据都是不相关的分区联合。 传入消息写在分区的末尾,消费者依次读取消息。 通过将消息复制到不同的经纪人来提供持久性。 Kafka以快速,可靠,持久的容错和零停机方式提供基

  • 分支的工作流程要取决于它的使用背景,我们可以将它分为两个主要的方面。 注释 请记住,在这里它只是一个语义层面上的划分。在技术和实用层面上,一个分支就是一个分支,它们的原理都是一样的。 (A) 短期分支(Short-Lived)/主题分支(Topic Branches) 在本书前面的章节中已经提到了我对建立分支的一些建议,例如:对应新功能的分支,修复错误的分支 以及 进行代码尝试所建立的分支。这些分

  • 我正在做一个Spring Boot应用程序,并试图以编程方式配置kafka,但由于某些原因,我仍然在从应用程序获取属性。yaml而不是我通过编程设置的

  • 我很难理解窗口在Kafka Streams中是如何工作的。到目前为止,结果似乎与我所阅读和理解的不一致。 我已经创建了一个带有支持主题的KSQL流。KSQL SELECT语句中的“列”之一已被指定为该主题的TIMESTAMP。 my-stream主题中的记录按键(PARTITION_KEY)分组,并用跳转窗口窗口 记录通过 然后我通过 组中的第一个窗口转换为7:00-7:05 当我通过控制台消费者

  • 假设Alice现在开始了一个新项目,在/home/alice/project建了一个新的git 仓库(repository);另外Bob的工作目录也在同一台机器,他要提交代码。 Bob 执行了这样的命令: $ git clone /home/alice/project myrepo 这就建了一个新的叫"myrepo"的目录,这个目录里包含了一份Alice的仓库的 克隆(clone). 这份克隆和

  • 我正在尝试使用Spring boot编写一个Kafka流处理器,但当消息产生到主题中时,它不会被调用。 主题消息有不同的类型,并且是Avro格式的。在模式注册表中使用Avro UNION注册模式。 这些是主题 application.yml我正在使用cp-all-in-one-community作为docker-file 但现在我得到以下错误: