FLINK：是否可以在同一个 flink 作业中从 kafka 主题（文件名）读取数据，然后从 amazon s3 读取文件内容？

Question

我有一个用例，我需要处理存储在s3中的文件中的数据，并将处理后的数据写入本地文件。s3 文件会不断添加到存储桶中。

每当一个文件被添加到bucket中时，完整的路径被发布到一个kafka主题。

我想在一份工作中实现以下目标：

1. 从kafka（无界流）读取文件名
2. 一个计算器，它接收文件名，从s3（第二个源）读取内容并创建数据流
3. 处理数据流（为每行添加一些逻辑）
4. 接收到文件

我设法完成了设计的第一、第三和第四部分。

有没有办法做到这一点？提前致谢。

Answer 1

这在一般情况下是可以实现的，但正如David Anderson所建议的，目前还没有使用vanilla Flink连接器实现这一点的直接方法。

另一种方法是用Apache Beam编写管道，它已经支持这一点，并可以使用Flink作为运行时(这证明了这可以用现有的原语实现)。

我认为这是一个合法的用例，Flink最终应该支持开箱即用。

Answer 2

我不相信有任何直接的方法可以做到这一点。

要在一个作业中完成所有工作，您可以说服文件源使用自定义的FileEnumerator，从Kafka获取路径。

一个更简单的替代方案是为要摄取的每个文件启动一个新的（有界的）作业。要读取的文件可以作为参数传入。