Flink中算子并行性的几个难题

Question

我刚刚得到了下面的例子，用于并行性，并有一些相关的问题：

>

setParallelism(5)将并行度5设置为sum或同时设置flatMap和sum？

有没有可能，我们可以将不同的并行度分别设置到不同的运算符如flatMap和sum上？比如将并行度5设置到sum，将并行度10设置到flatMap上。

final StreamExecutionEnvironment env =     
  StreamExecutionEnvironment.getExecutionEnvironment();

DataStream<String> text = [...]
DataStream<Tuple2<String, Integer>> wordCounts = text
  .flatMap(new LineSplitter())
  .keyBy(0)
  .timeWindow(Time.seconds(5))
  .sum(1).setParallelism(5);

wordCounts.print();

env.execute("Word Count Example");

Answer 1

当对运算符调用setParallelism时，它会更改此特定运算符的并行性。因此，在您的示例中，只有window运算符将以5的并行度执行，前面的FlatMap运算符将以默认并行度执行。

因此，您可以为每个运算符设置不同的并行度。但是，请注意，具有不同并行性的运算符不能被链接，并且需要重新平衡（类似于shuffle）操作。

如果您想为所有操作符设置并行性，那么您必须通过executionenvironment#setparallelismAPI调用来完成。