Flink：如何理解并行运算符的实例有多少？

Question

然后需要对图进行处理/搜索，并可能向下游发出事件。我希望图运算符能够水平伸缩，即每个并行运算符处理图的一个子集（但这将要求每个运算符能够访问整个图）。我感兴趣的是如何将负载分散到所有并行运算符上。

// key input events for processing by key
KeyedStream<MyEvent> keyedStream = myInputStream.keyBy(...);
// process each keyed input stream and produce output events that need to be combined into a graph
SingleOutputStreamOperator<MyGraphEvent> graphStream = keyedStream.process(...));
// recombine into a single graph operator via broadcast(), then process
DataStream<MyOutputEvent> output = graphStream.broadcast().flatMap(new MyGraphFlatmapFunction());

我想我可以使用broadcast()来确保每个键控操作符的所有输出都发送给每个下游操作符。

MyGraphFlatMapFunction获取一个MyGraphEvent对象流，在内部状态中创建一个图，并可选地生成一个MyOutputEvent对象流。我希望每个并行运算符处理图的一个子集。不管存在的运算符的并行实例的数量如何，我都希望处理所有的图（这意味着我不希望每个运算符只处理图的某个随机子集），也不希望并行运算符处理图的相同部分（没有重复处理）。

我希望能够在MyGraphFlatMapFunction中执行以下操作：

int index;
// I want to get the operator instance number & the number of parallel operators in the stream topology
int operatorIndex = getOperatorIndex();
int operatorCount = getTotalNumberOfParallelOperators();
// process every nth object
for (index = 0; index < someCollection.size(); index++) {
    if (index % operatorCount == operatorIndex) {
        // do some processing
    } else {
        continue;
    }
}

有没有办法知道并行运算符存在多少个实例，这是哪个运算符？有没有别的方法可以达到我所追求的目标？

Answer 1

如果使用RichFlatMapFunction，则可以通过GetRuntimeContext()访问RuntimeContext。runtimeContext具有您需要的两种方法：

• GetNumberOfParallelSubTasks()
• GetIndexOfThisSubTask()

希望这有帮助。