配置Flume以从Twitter收集数据到HDFS中
我一整天都在不断收到这个日志信息。
2016-10-12 21:32:05，696(conf-file-poller-0)[DEBUG-org . Apache . FLUME . node . pollingpropertiesfileconfigurationprovider $ filewatcherrunnable . run(pollingpropertiesfileconfigurationprovider . Java:126)]执行命令FLUME _ HOME/bin/FLUME-ng agent-conf时检查文件:conf/flume.conf是否有变化。/conf/-f conf/flume . conf-d flume . root . logger = DEBUG，console -n TwitterAgent
修改conf文件后，我现在收到这个错误
[DEBUG-com.cloudera.flume.source.TwitterSource.start（TwitterSource.java:124）]使用消费者密钥和访问令牌设置Twitter示例流2016-10-12 22:09:19,592（li
共有1个答案
据我所知，我认为您需要添加a1.sources.r1.type=org.apache.flume.source.twitter。将TwitterSource添加到您的conf文件中，以定义您的Twitter源，同时确保您正在使用凭据访问Twitter API。
-
我使用的是Ubuntu 14.04，我的配置文件如下： 我正在我的终端上使用以下命令: 我收到以下错误： Apache Flume和Apache Hadoop的版本有兼容性问题吗？我没有找到任何可以帮助我安装Apache Flume 1 . 5 . 1版的好资源。如果没有兼容性问题，那么我应该如何在我的HDFS中获取tweets？
-
由于一个我无法摆脱的错误，我无法使用Flume将Twitter数据拉入HDFS。 命令： 控制台： flume-env.sh:我手动将flume-sources-1.0-SNAPSHOT.jar添加到flume/lib中。 twitter.conf： 操作系统：Ubuntu Flume:v1.9.0 Hadoop:v3.3.0
-
我的推特数据格式不可读。我使用水槽获取了推特数据，我正在尝试使用蜂巢表读取这些数据。但是我在 hdfs 中看不到正确的数据。以下是详细信息： flume-env.sh - twitter.conf- 当我少做一个文件时: 有人可以告诉我哪里出错了吗？我需要蜂巢表的可读格式的数据。
-
我试图将twitter提要流到hdfs，然后使用Hive。但是第一部分，流数据和加载到hdfs不起作用，并给出空指针异常。 这是我尝试过的。 4.我将flume-sources-1.0-snapshot.jar添加到/user/lib/flume/lib。 5.启动Hadoop并执行以下操作 6.我在/user/lib/flume中运行以下内容
-
我使用了一些关键字，并使用Flume从twitter下载了tweets。 {“filter_level”：“medium”,“contributors”：null,“text”：“梅西，厄齐尔，CR7&苏亚雷斯·伯腾格·迪兰博基尼T.co/skk8xnnjl7”,“geo”：null,“retweeted”：false,“in_reply_to_screen_name”：null,“possibl
-
我尝试使用Flume 1.7将数据加载到HDFS中。我创建了以下配置： 之后，我使用 netcat 将以下文件发送到源： 该文件包含以下元素: 我面临的问题是，没有任何错误，flume正在写入hdfs，但只有一行传输的文件。如果您开始使用nectat多次将文件推送到源文件，那么有时flume会将多个文件写入hdfs，包括多个行。但很少是所有行。 我试图改变hdfs参数roll大小，批量大小和其他，