Apache Flink中的多流迭代

Question

我的问题是关于Apache Flink中多个流上的迭代。

我是Flink的初学者，目前正在尝试对Flink执行递归查询（例如，数据日志）。

例如，查询每5分钟计算一次传递闭包（滚动窗口）。如果我有一个输入流inputStream（由初始边缘信息组成），另一个由inputStream初始化的输出流（传递闭包）。我想通过加入inputStream来迭代地丰富outputStream。对于每个迭代，反馈应该是outputStream，并且迭代将持续到outputStream上不再追加边为止。传递闭包的计算应该每隔5分钟定期触发一次。在迭代过程中，inputStream应该是“hold”，并为我的outputStream提供数据。

有可能在Flink中做到这一点吗？感谢您的任何帮助！

Answer 1

这听起来像是一个侧面输入问题，您希望将“inputStream”视为一个与另一个“outputStream”连接的批处理数据集（带有刷新）。不幸的是，Flink目前没有提供一种简单的实现方法（请参见https://stackoverflow.com/a/48701829/231762)

如果这两个流都来自数据源，那么一种方法是创建一个包装器源来控制记录的顺序。它必须发出类似Tuple2的东西，其中一侧或另一侧为空，然后在下游（自定义）函数中，您基本上将这些拆分并进行连接。

如果这是可能的，那么这个源可以在发出“输入”元组的同时阻止“输出”元组，再加上听起来需要的其他逻辑（5分钟刷新等）。请参阅我对上面另一个SO问题的回应，以了解执行此操作的框架代码。