使用flink/kubernetes替换etl作业（在SSI上）：每个作业类型一个flink集群，或者每个作业执行创建和销毁flink集群

Question

我正在尝试将使用SSIS包创建的数百个feed文件ETL作业替换为apache flink作业（并将kuberentes作为底层infra）的可行性。我在一些文章中看到的一条建议是“为一种工作使用一个flink集群”。

由于我每天都有少量的每种工作类型的工作，那么这意味着对我来说最好的方法是在执行工作时动态创建flinkcluster并销毁它以释放资源，这是正确的方法吗？我正在建立flinkcluster，没有工作经理。

关于使用flink进行批量ETL活动的最佳实践的任何建议。

可能是最重要的问题：flink是问题陈述的正确解决方案，还是我应该更深入Talend和其他经典ETL工具？

Answer 1

Flink非常适合运行ETL工作负载。这两种部署模式为您提供以下属性：

会话集群允许在同一组资源（TaskExecors）上运行多个作业。您在提交任何资源之前启动会话集群。

• 提交作业时无需额外的群集部署时间=

• 作业之间没有严格隔离

每个作业群集为每个作业启动一个专用Flink群集。

• 严格的工作隔离
• 由于只有一个作业在TaskExecutors上运行，因此资源消耗更可预测

• 集群部署时间是作业提交时间的一部分，导致提交时间更长
• 没有一个集群控制您的所有作业

因此，如果您有许多需要快速响应的短期ETL作业，那么我建议使用会话集群，因为您可以避免每个作业的集群启动时间。如果ETL作业的运行时间很长，那么这个额外的时间将没有任何权重，我会选择每个作业模式，因为严格的作业隔离，它为您提供更可预测的运行时行为。