Twitter Flume数据格式不可读
我的推特数据格式不可读。我使用水槽获取了推特数据，我正在尝试使用蜂巢表读取这些数据。但是我在 hdfs 中看不到正确的数据。以下是详细信息：
flume-env.sh -
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
FLUME_CLASSPATH="/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/flume-ng/lib/flume-sources-1.0-SNAPSHOT.jar
twitter.conf-
TwitterAgent.sources = Twitter
TwitterAgent.channels = MemChannel
TwitterAgent.sinks = HDFS
TwitterAgent.sources.Twitter.type=org.apache.flume.source.twitter.TwitterSource
TwitterAgent.sources.Twitter.channels = MemChannel
TwitterAgent.sources.Twitter.consumerKey = xxxxxxxxxxxxxxxxxxxxxxxxx
TwitterAgent.sources.Twitter.consumerSecret = xxxxxxxxxxxxxxxxxxxxxxxx
TwitterAgent.sources.Twitter.accessToken = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
TwitterAgent.sources.Twitter.accessTokenSecret = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
TwitterAgent.sources.Twitter.keywords = hadoop, bigdata, data science
TwitterAgent.sinks.HDFS.channel = MemChannel
TwitterAgent.sinks.HDFS.type = hdfs
TwitterAgent.sinks.HDFS.hdfs.path = hdfs://opt:8020/user/flume/tweets
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream
TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text
TwitterAgent.sinks.HDFS.hdfs.batchSize = 100
TwitterAgent.sinks.HDFS.hdfs.rollSize = 0
TwitterAgent.sinks.HDFS.hdfs.rollCount = 100
TwitterAgent.channels.MemChannel.type = memory
TwitterAgent.channels.MemChannel.capacity = 100
TwitterAgent.channels.MemChannel.transactionCapacity = 100
当我少做一个文件时:
有人可以告诉我哪里出错了吗？我需要蜂巢表的可读格式的数据。
共有1个答案
断然的。刚刚更改了TwitterAgent.sources.Twitter.type=org.apache.flume.source.Twitter。TwitterSource到Twitter Agent.sources.Witter。类型=com.cloudera.flume.source.TwitterSource
-
用具有一致性且对用户友好的方式展示如日期时间这样的数据. 确保呈现的信息是简洁的, 避免不必要的冗余. 日期与时间 此指南适用于: 当前日期与时间 日期与时间设置, 例如闹钟或提醒 当一个对象被创建, 发送, 编辑或其他操作行为发生时的时间和日期 基本显示 关于时间, 使用大写的 AM 或 PM 区分时段, 用空格与时间分隔开. 10:00 AM 如果时间戳正好是当日, 也通常不要要显示例如 “今
-
v-charts 提供对数据格式的设置的能力，一个常见的设置数据格式的方式如下所示： <template> <ve-line :data="chartData" :settings="chartSettings"></ve-line> </template> <script> export default { data () { this.chartSettings = { metr
-
JSON 数据格式 JSON 是 JavaScript Object Notation 的简称，是一种轻量的数据表示方法。json格式采用key:value的方式记录数据，非常直观，比XML简洁，因而大受欢迎 介绍json格式前，先让我们看看XML格式。显然，XML 得到了相当多的关注（正面和负面的评价都有），已经在 Ajax 应用程序中广泛使用： <request> <firstName>
-
Spring Data Rest到底应该如何配置以返回普通JSON而不是HAL（带有超媒体链接的JSON） null
-
问题内容： 我收到以下错误： 但是我看不到哪个参数错误？ 这是我使用的代码。 我已经添加并删除了，但出现了相同的错误。 问题答案： 您将月份和日期交换了： 否则将永远不会适合month参数的范围。 随着并以正确的顺序解析的工作原理： 您无需添加；可以正确解析较短的数字：
-
后端返回数据格式无法进行修改，都是双引号转义符， 根据以上代码期待转成下面格式