使用 Apache 水槽进行排序
我们摄取的数据可以使用Flume进行排序吗？
我设计了一个简单的多通道水槽代理，它将数据摄取到HDFS中的两个目录中。但我不知道的是，水槽是否支持在这两个通道之间进行排序。
到目前为止，我所假设的是，我的源将是一个假脱机目录。，每当我输入行(每行包含一个唯一的关键字)，该行必须进入某个特定的通道。
有什么想法吗？
共有1个答案
分拣：不，但我不认为这是你的意思。
考虑使用拦截器和扇出流来实现您想要的。
-
我们可以为HDFS Sink添加分隔符吗？写入文件时，我们如何添加记录分隔符？ 以下是配置：-
-
我需要帮助。 我已经下载了Apache Flume并安装在Hadoop之外，只是想尝试通过控制台进行netcat日志记录。我使用1.6.0版本。 这是我的confhttps://gist.github.com/ans-4175/297e2b4fc0a67d826b4b 这是我是如何开始的 但是仅在打印这些输出后就卡住了 对于简单的启动和安装有什么建议吗？ 谢谢
-
刚开始学习Apache Flume。我遵循Flume官方入门网站上的说明： https://cwiki.apache.org/confluence/display/FLUME/Getting开始 按照上面链接上的说明操作后，几乎一切都很好。但是后来我找不到任何日志文件。我想日志文件在{flume.directory}/logs下。有办法找到水槽日志文件吗？ 这是我的log4j.properties
-
我正在学习Flink，我从使用DataStream的简单字数统计开始。为了增强处理能力，我过滤了输出，以仅显示找到3个或更多单词的结果。 我想创建一个WindowFunction，根据找到的单词值对输出进行排序。我试图实现的WindowFunction根本不编译。我正在努力定义WindowFunction接口的apply方法和参数。
-
我正在尝试使用apache flume将数据加载到hbase中。当我使用flume将数据传输到hadoop时，它工作得很好。但是当我启动flume代理将数据加载到hbase时，我得到了NoClassDefFoundError。 这是我的水槽配置: flume-env.sh 代理4.conf
-
我正在尝试使用hdfs水槽运行水槽。hdfs在不同的机器上正常运行，我甚至可以与水槽机器上的hdfs交互，但是当我运行水槽并向其发送事件时，我收到以下错误： 同样，一致性不是问题，因为我可以使用hadoop命令行与hdfs交互（水槽机不是datanode）。最奇怪的是，在杀死水槽后，我可以看到tmp文件是在hdfs中创建的，但它是空的（扩展名仍然是. tmp）。 关于为什么会发生这种情况的任何想法