当前位置: 首页 > 知识库问答 >
问题:

Flink Sink并行度=1?

邵劲
2023-03-14

我试图理解Flink中的并行是如何工作的。本文件https://ci.apache.org/projects/flink/flink-docs-release-1.9/concepts/programming-model.html似乎表明水槽的平行度等于1。在我的例子中,我正在向我的接收器中的HBase写信——这是否意味着只有一个任务(线程?)哪个将写入HBase?它是否没有为应用程序设置全局并行度?

共有2个答案

华昕
2023-03-14

这是否意味着当并行度等于1时,只有一个任务(线程)写入HBase?

对通常,并行性是指操作员同时运行的任务数。默认情况下,它等于您设置的全局并行度。

於宏大
2023-03-14

接收器获得全局并行性。要在一个操作符上减少它,如该示例中所示,需要显式更改该操作符上的并行性。

 类似资料:
  • 问题内容: 我正在使用jsr166y ForkJoinPool在线程之间分配计算任务。但是我显然一定做错了。 如果创建并行度> 1(默认值为Runtime.availableProcessors();我一直在运行2-8个线程)的ForkJoinPool,我的任务就可以正常工作。但是,如果我创建并行度= 1的ForkJoinPool,则在无法预测的迭代次数后会看到死锁。 是的-设置并行度= 1是一种

  • 对于完全非阻塞的端到端反应调用,是否建议显式调用publishOn或subscribeOn来切换调度器?对于消耗cpu或不消耗cpu的任务,总是使用并行流量来优化性能是否有利?

  • 我有一个玩具Flink工作,从3个Kafka主题中读取,然后联合所有这3个流。仅此而已,没有额外的工作。 如果在我的Flink工作中使用parallelism 1,只要我更改parallelism,一切都会很好 为什么它适用于并行1,但不适用于并行 是否与Kafka服务器端设置有关?或者它与我的java代码中的comsumer设置有关(我的代码中还没有特殊的配置)? 我知道这里提供的信息可能不够充

  • 我在学习Reactor,我想知道如何实现某种行为。假设我有一个传入消息流。每条消息都与某个实体关联,并包含一些数据。 与不同实体相关的消息可以并行处理。但是,与任何单个实体相关的消息必须一次处理一条,即在实体“abc”的消息1处理完成之前,无法开始处理实体“abc”的消息2。在处理消息的过程中,应该缓冲该实体的进一步消息。其他实体的消息可以不受阻碍地进行。可以将其视为每个实体的线程上都有这样的代码

  • 什么让 topology(拓扑)可以运行: worker 进程, executors(执行器)和 tasks(任务) Storm 区分以下 3 个主要的实体, 它们在 Storm 集群中用于实际的运行 topology(拓扑): Worker 进程 Executors(线程) Tasks 这是一个简单的例子, 以说明他们之间的关系 一个 worker 进程 执行一个 topology(拓扑)的子集