Flume不接受Twitter流的关键字

Question

Hadoop新手，使用本教程：https://acadgild.com/blog/streaming-twitter-data-using-flume/捕捉推文。这是我的水槽。conf文件：

TwitterAgent.sources = Twitter
TwitterAgent.channels = MemChannel
TwitterAgent.sinks = HDFS
TwitterAgent.sources.Twitter.type = org.apache.flume.source.twitter.TwitterSource
TwitterAgent.sources.Twitter.consumerKey=xxxx
TwitterAgent.sources.Twitter.consumerSecret=xxxx
TwitterAgent.sources.Twitter.accessToken=xxxx
TwitterAgent.sources.Twitter.accessTokenSecret=xxxx

TwitterAgent.sources.Twitter.keywords= #canpoli

TwitterAgent.sinks.HDFS.channel=MemChannel
TwitterAgent.channels.MemChannel.capacity=10000
TwitterAgent.sinks.HDFS.type=hdfs
TwitterAgent.sinks.HDFS.hdfs.path=hdfs:/xxxx/user/flume/tweets
TwitterAgent.sinks.HDFS.hdfs.fileType=DataStream
TwitterAgent.sinks.HDFS.hdfs.writeformat=Text
TwitterAgent.sinks.HDFS.hdfs.batchSize=1000
TwitterAgent.sinks.HDFS.hdfs.rollSize=0
TwitterAgent.sinks.HDFS.hdfs.rollCount=10000
TwitterAgent.sinks.HDFS.hdfs.rollInterval=600

TwitterAgent.channels.MemChannel.type=memory
TwitterAgent.channels.MemChannel.capacity=10000
TwitterAgent.channels.MemChannel.transactionCapacity=1000

TwitterAgent.sources.Twitter.channels = MemChannel
TwitterAgent.sinks.HDFS.channel = MemChannel`

它流式传输推特很好，它正确地保存到我想要的目录中，但它似乎在流式传输所有内容，而没有对我的关键字进行过滤。我收到了来自世界各地的推特，除了有那个标签。

可能是什么问题？

Answer 1

首先，它接受所有的标签，因为你给了一个空列表。

#字符是注释，因此等于之后的所有内容都被视为忽略。至少我认为这就是它的解析方式。

您链接到一个不使用#的站点，因此我会遵循该教程直到它起作用。

其次，该来源被认为是实验性的，似乎没有提到关键词。

https://flume.apache.org/FlumeUserGuide.html#twitter-1-firehose-source-experimental

您的代码看起来几乎与Cloudera中的此示例完全相同，该示例在配置中包含注释并具有关键字，如果您检查，则存在不同的源类。

TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource

https://github . com/cloud era/CDH-Twitter-example/blob/master/flume-sources/flume . conf

你需要在那里下载该java代码，将其打包到JAR中，然后将其放在Flume lib目录中。