当前位置: 首页 > 知识库问答 >
问题:

流的并行性总是其产生运算符的并行性

葛鸿轩
2023-03-14

在里面https://ci.apache.org/projects/flink/flink-docs-release-1.8/concepts/programming-model.html#parallel-数据流,有一个描述

操作符子任务的数量是该特定操作符的并行度。流的并行性始终是其生成操作符的并行性。同一程序的不同操作符可能具有不同的并行级别。

我不明白什么是流的并行性总是它的生成操作符的并行性 意思是,有人能帮我解释一下吗?谢谢

共有1个答案

江坚成
2023-03-14

这个声明没有什么深刻的含义,我。运算符产生流。运算符有一个或多个并行实例,有时称为子任务,每个实例都产生流的一部分。

 类似资料:
  • 根据文档[1],我一直试图在Akka stream中并行化一个流,但由于某些原因,我没有得到预期的结果。 我遵循了留档中列出的步骤,我不认为我错过了什么。然而,我的流的计算都是按顺序一个接一个地发生的。 我错过了什么? [1] https://doc.akka.io/docs/akka/current/stream/stream-parallelism.html 示例输出 我希望看到两个计算同时进

  • 问题内容: 我有要并行处理的元素的集合。当我使用时,并行性有效。但是,当我使用时,它不会并行运行。 我写了一个代码样本来说明问题: 这是我在Windows 7上获得的输出 我们可以看到中的第一个元素必须在处理第二个元素之前完成。对于,第二个元素在第一个元素结束之前开始。 您能否告诉我是什么原因导致此问题,以及如何使用集合避免发生此问题? 问题答案: 我可以重现您看到的行为,其中并行性与您指定的fo

  • 在代码下面执行 输出: 除了3号元素,其他都是平行的吗?想了解并行运算符在后续调用中行为吗? 并行运算符在哪里开始,并行如何继续?

  • 我有要并行处理的元素集合。当我使用时,并行性起作用。但是,当我使用时,它不会并行运行。

  • 相反,如果我从web服务器收集数据,为什么不直接使用相同的节点进行事件处理呢?这些操作已经由负载均衡器分布在节点上,我在web服务器上使用负载均衡器。我可以在相同的JVM实例上创建执行器,并将事件从web服务器异步发送到执行器,而不涉及任何额外的IO请求。我还可以监视web服务器中的执行器,并确保执行器处理了事件(至少一次或恰好一次处理保证)。通过这种方式,管理我的应用程序将容易得多,而且由于不需