Flink和Storm的主要区别是什么？

Question

Flink被比作Spark，在我看来，这是一个错误的比较，因为它将窗口事件处理系统与微批处理进行了比较；同样地，对我来说，将Flink与Samza进行比较也没有那么大的意义。在这两种情况下，它比较了实时事件处理策略和批处理事件处理策略，即使在Samza的情况下“规模”较小。但我想知道Flink与Storm的比较如何，它在概念上似乎更相似。

我发现这张（幻灯片#4)记录了Flink的“可调延迟”这一主要区别。另一个提示似乎是Slicon Angle的一篇文章，该文章暗示Flink更好地集成到Spark或HadoopMR世界中，但没有提到或引用实际的细节。最后，Fabian Hueske自己在一次采访中指出，“与Apache Storm相比，Flink的流分析功能提供了一个高级API，并使用了一种更轻量的容错策略，以提供一次性的处理保证。”

所有这些对我来说都有点稀疏，我不太明白要点。有人能解释一下什么问题吗Storm is（ARE？）中的流处理完全被Flink解决了？Hueske的API问题和他们的“更轻量的容错策略”指的是什么？

Answer 1

免责声明：我是Apache Flink提交者和PMC成员，只熟悉Storm的高级设计，而不是内部设计。

Apache Flink是用于统一流和批处理的框架。Flink的运行时本机支持这两个域，这是由于并行任务之间的流水线数据传输，包括流水线洗牌。记录从生成任务到接收任务（在收集到用于网络传输的缓冲区中之后）会立即发送。可以使用阻塞数据传输执行批处理作业。

Apache Spark是一个还支持批处理和流处理的框架。Flink的批处理API看起来非常相似，并且处理了与Spark相似的用例，但在内部有所不同。对于流式处理，两种系统采用了非常不同的方法（小批量与流式处理），这使得它们适合于不同类型的应用。我会说比较Spark和Flink是有效和有用的，但是Spark不是与Flink最相似的流处理引擎。