水槽HDFS源

Question

我想使用 flume 将数据从 hdfs 目录传输到 hdfs 中的目录，在此传输中，我想应用处理形态线。

例如：我的来源是

"hdfs://localhost:8020/user/flume/data"

我的水槽是

"hdfs://localhost:8020/user/morphline/"

有水槽可能吗？

如果是，源水槽的类型是什么？

Answer 1

另一种选择是将 netcat 源连接到同一个接收器，然后将文件放入其中......

Answer 2

据我所知，没有读取HDFS数据的来源。主要原因是Flume旨在移动以某种方式发送给代理的大量数据。如文档中所述：

“Flume源使用外部源（如Web服务器）传递给它的事件。外部源以目标Flume源识别的格式向Flume发送事件。例如，Avro Flume源可用于从Avro客户端或流中的其他Flume代理接收Avro事件，这些代理从Avro接收器发送事件。可以使用Thrift Flume Source定义类似的流，以接收来自Thrift Sink或Flume Thrift Rpc客户端或用Flume节俭协议生成的任何语言编写的Thrift客户端的事件。”

您可以在官方网页上找到所有可用的来源。

也就是说，您需要一些进程负责读取输入的HDFS文件并将其发送到任何可用的来源。可能ExecSource适合您的需求，因为您可以指定一个命令，该命令将被运行以生成输入数据。这样的命令可以是hadoop fs-cat /hdfs/path/to/input/data或类似的东西。

然而，考虑到你想要做的处理，我想你需要一个定制的水槽来实现它。我的意思是，源部分只是用于读取数据，并以Flume事件的形式将其放入Flume通道。然后，一个或多个接收器将通过处理这些事件并生成适当的输出来消费它们。