Apache Flume vs Apache Flink 的区别

Question

我需要从某个来源读取数据流（在我的情况下是UDP流，但这无关紧要），转换每条记录并将其写入HDFS。

使用Flume或Flink有什么区别吗？

我知道我可以将 Flume 与自定义拦截器一起使用来转换每个事件。

但我是 Flink 的新手，所以对我来说，看起来 Flink 也会这样做。

选哪个比较好？性能有区别吗？

拜托，救命啊！

Answer 1

免责声明：我是Apache Flume的提交人。我对Apache Flink没有详细的了解。

对于您描述的用例，Flume可能是正确的选择。

在netcat UDP源代码提交到代码库之前，可以使用Exec Source。

对于转换，很难提供建议，但您可能想看看 Morphline 拦截器。

关于通道，我建议使用内存通道，因为如果源是UDP，一些可以忽略不计的数据丢失应该是可以接受的。

水槽方面，HDFS水槽可能满足你的需求。

Answer 2

免责声明：我是Apache Flink的提交人和PMC成员。我对Apache Flume没有详细的了解。

据我所知，将不同来源的流数据移动到HDFS是Apache Flume的主要用例之一。这是一个专门的工具，我认为它内置了很多相关的功能。我无法评论Flume的表现。

Apache Flink是一个数据流处理平台，比Flume更通用，功能更丰富(例如，支持事件时间、高级窗口、高级API、容错和有状态应用程序，...).您可以使用Flink实现和执行许多不同种类的流处理应用程序，包括流分析和CEP。

Flink 具有滚动文件接收器，可将数据流写入 HDFS 文件，并允许通过用户定义的函数实现各种自定义行为。但是，它不是将数据摄取到 HDFS 中的专用工具。不要指望此用例有很多内置功能。Flink 提供了非常好的吞吐量和低延迟。

如果您只需要简单的记录级转换，我会首先尝试用Flume解决您的用例。我希望Flume带有一些您在选择Flink时需要自己实现的功能。如果您希望在未来进行更高级的流处理，Flink绝对值得一看。