水槽-TwitterSource语言过滤器

Question

我想在下面的情况下请求你的帮助。

• http://blog.cloudera.com/blog/2012/10/analysing-twitter-data-with-hadoop-part-2-getting-data-with-flume/
• github.com/cloudera/cdh-twitter-example

我下载了源代码，并在更新了pom.xml中的版本后重新构建了flume-sources：

<flume.version>1.5.0-cdh5.1.2</flume.version>
<hadoop.version>2.3.0-cdh5.1.2</hadoop.version>

工作得很完美。

<!-- For the Twitter API -->
<dependency>
<groupId>org.twitter4j</groupId>
<artifactId>twitter4j-stream</artifactId>
<version>3.0.6</version>
</dependency>

当我启动代理时，我得到以下异常（NoSuchMethodError）：

无法启动EventDrivenSourceRunner：{source：com.cloudera.flume.source.twitterSource{name：twitter,state：idle}}-出现异常。java.lang.nosuchmethoderror:twitter4j.filterquery.language([ljava/lang/string；）ltwitter4j/filterquery.language([ljava/lang/string；）ltwitter4j/filterquery；在com.cloudera.flume.source.twittersource.start(twittersource.java:165)在org.apache.flume.source.eventdrivensourceRunner.start(eventdrivensourceRunner.start.concurrent.futureTask.runandreset(FutureTask.java:304)在java.util.concurrent.scheduedThreadPoolExecutor$scheduedFutureTask.access$301(ScheduedThreadPoolExecutor.java:178)在java.util.concurrent.scheduledThreadPoolExecutor.java:293)在运行(thread.java:745)

我检查了一下，这个版本的twitter4j-stream包含语言方法：

• github.com/yusuke/twitter4j/blob/3.0.6/twitter4j-stream/src/main/java/twitter4j/filterquery.java

我做错了什么？

提前感谢，

彼得

Answer 1

最后我设法解决了这个问题。所以这是任何面临同样问题的人的解决方案。

首先（在前面的文章中），我将生成的jar放置到/var/lib/flume-ng/plugins.d/twitter-streaming/lib/，并在Cloudera Manager配置中设置它以使用这个位置。

在本例中，CM将此目录放置到运行文件中类路径的and（在parcel目录之后）。因此类路径中的目录顺序如下所示：

不幸的是，在parcel目录中有一个twitter4j-stream-3.0.3.jar和twitter4j-core-3.0.3.jar，flume试图使用它来代替3.0.6，在该版本中，filterquery.language显然不存在。

所以我只是从parcel目录中删除了那些jar，现在它工作得很好。