将BroadcastConnectedStream连接到AsyncIO

Question

我需要让一个AsyncIO富函数基于最新的一组规则执行调用。对于像map这样的操作，我能够通过以下博客文章处理一个具有丰富功能的BroadcastConnectedStream：https://flink.apache.org/2019/06/26/broadcast-state.html

但是，创建异步IO函数需要数据流作为输入，而BroadcastConnectedStream不是(https://ci.apache.org/projects/flink/flink-docs-stable/api/java/index.html?org/apache/flink/streaming/api/datastream/BroadcastConnectedStream.html)

有人对我如何克服这个限制有什么想法吗？这种情况是，我想要一个异步函数在外部世界异步调用出现非暂时性错误时将传入消息隐藏在状态中，并在kafka上接收到“继续”消息后恢复操作（我想我可以使用广播流）

Answer 1

因此，首先，AsyncFunction不支持键控状态，因此您也必须解决这一问题，并通过CheckpointedFunction自己实现这一点。

一般来说，我不认为有任何开箱即用的东西可以用于这个案例。如果要使用broadcast，我能想到的最好办法是使用KeyedBroadcastProcessFunction沿流发送结果，然后使用AsyncIO函数。如果您实现了自己的状态处理，那么您可以保留所有失败的结果，只需重试即可。

然而，仅仅将所有请求作为列表获取并通过它们循环重试可能不是最好的主意，因为这可能会导致性能下降（您可以设置同时进行的请求数量，但此请求实际上会比其他请求持续更长的时间）。

Answer 2

我认为可以将BroadcastProcessFunction（不是键控函数）放在异步I/o操作符前面，但您必须在正在处理的其他流中进行并集，因为异步I/o只有一个输入。考虑到这是多么丑陋，寻找其他方式传达“前进”信号可能更可取。

或者您可能想看看有状态函数，它在这方面具有更大的灵活性。