如何将所有收集的推文提取到一个文件中

Question

我用Flume收集推文，并存储在HDFS上。收集部分工作正常，我可以在我的文件系统中找到我所有的推文。

正如我们所看到的，推文存储在128MB的块中，但只使用几个Ko，这是HDFS的正常行为，如果我错了，请纠正我。

然而，我如何在一个文件中获取所有不同的推文？

这是我使用以下命令运行的conf文件：

flume ng agent-n TwitterAgent-f./my flume files/twitter-stream-tvseries.conf

推特-流媒体-电视剧.conf ：

TwitterAgent.sources = Twitter

TwitterAgent.channels=MemChannel

TwitterAgent.sinks = HDFS

Twitter agent . sources . Twitter . type = org . Apache . flume . source . Twitter . Twitter . Twitter source Twitter agent . sources . Twitter . consumer key = hidden Twitter agent . sources . Twitter . consumer secret = hidden Twitter agent . sources . Twitter . accesstoken = hidden Twitter agent . sources . Twitter . accesstokensecret = hidden Twitter agent . sources . Twitter . keywords = GoT，GameofThrones

TwitterAgent.sources.Twitter.keywords=GoT， GameofThrones

Twitter agent . sinks . HDFS . channel = MemChannel Twitter agent . sinks . HDFS . type = HDFS Twitter agent . sinks . HDFS . HDFS . path = HDFS://IP-addressl:8020/user/root/data/Twitter/TV series/tweets Twitter agent . sinks . HDFS . filetype = DataStream Twitter agent . sinks . HDFS . HDFS . write format = Text Twitter agent . sinks . HDFS . batch size = 1000 Twitter agent . sinks

TwitterAgent.channels.EmChannel。type=内存TwitterAgent.channels.EmChannel。容量=10000 TwitterAgent.channels.MemChannels.transactionCapacity=1000

TwitterAgent.sources.Twitter.channels = MemChannel TwitterAgent.sinks.HDFS.channel = MemChannel

Answer 1

可以使用以下命令将文件连接为单个文件：

find . -type f -name 'FlumeData*' -exec cat {} + >> output.file

或者，如果您想将数据存储到Hive表中以供以后分析，请创建一个外部表并将其使用到Hive DB中。

Answer 2

您可以将 HDFS 接收器配置为按时间、事件或大小生成消息。因此，如果要保存多条消息直到达到120MB的限制，请设置

hdfs.rollInterval = 0 # This is to create new file based on time
hdfs.rollSize = 125829120 # This is to create new file based on size
hdfs.rollCount = 0 # This is to create new file based on events (different tweets in your case)