如何处理Apache flink KeyedBroadCastProcessFunction中的异常

Question

Apache Flink-“keyby”中的异常处理

根据第一个链接，用户说他在processfn中使用sideoutput来捕获错误，我也在我的程序中使用sideoutput来发送与模式不匹配的数据，但是我不知道如何处理错误和无效数据到相同的sideoutput

根据第二个链接，用户正在尝试添加一个sink到keyby函数和null key和printsink函数，这是我完全不理解的

1）任何关于异常处理的文档或小代码段我在flink文档站点中没有找到任何东西2）关于flink异常处理的最佳实践

我没有在网上找到任何有效的资源，如果有人能回答，这将是有用的进一步参考其他人也

Answer 1

final OutputTag<T> unmatched = new OutputTag<String>("unmatched-data"){};
final OutputTag<String> errors = new OutputTag<String>("side-output-for-errors"){};

SingleOutputStreamOperator<T> matchedData = ...;

DataStream<T> unmatched = matchedData.getSideOutput(unmatched);
DataStream<String> errors = matchedData.getSideOutput(errors);

final OutputTag<String> errors = new OutputTag<String>("side-output"){};

SingleOutputStreamOperator<T> task1 = ...;
SingleOutputStreamOperator<T> task2 = ...;
SingleOutputStreamOperator<T> task3 = ...;

DataStream<String> exceptions1 = task1.getSideOutput(errors);
DataStream<String> exceptions2 = task2.getSideOutput(errors);
DataStream<String> exceptions3 = task3.getSideOutput(errors);

DataStream<String> exceptions = exceptions1.union(exceptions2, exceptions3);

exceptions.addSink(new FlinkKafkaProducer(...));