Spark流与结构化流

Question

在过去的几个月里，我已经使用了相当多的结构化流来实现流作业（在大量使用Kafka之后）。在阅读了《Stream Processing with Apache Spark》一书之后，我有这样一个问题：有没有什么观点或用例可以让我使用Spark Streaming而不是Structured Streaming？如果我投入一些时间来研究它，或者由于im已经使用了Spark结构化流，我应该坚持使用它，而之前的API没有任何好处。如有任何意见/见解，我将不胜感激

Answer 1

分享我的个人经历。

结构化流是基于spark的流实现的未来。它提供了更高层次的抽象和其他伟大的特性。然而，限制很少。

由于spark streaming提供的灵活性，我不得不在很少的情况下切换到spark streaming。最近的一个例子是，我们必须使用静态引用数据执行连接，但是结构化流不支持外部连接。这可以通过Spark Streaming来实现。

在较新的spark 2.4版本中，结构化流得到了很大的改进，它支持foreachBatch接收器，提供了spark流提供的类似灵活性。

我个人的想法是，了解spark streaming是有帮助的，您可能需要根据您的用例使用它。