当前位置: 首页 > 知识库问答 >
问题:

twitter流错误

曾河
2023-03-14
val config = new twitter4j.conf.ConfigurationBuilder()
    .setOAuthConsumerKey("*********************")
               .setOAuthConsumerSecret("**********************************************")
    .setOAuthAccessToken("****************************************************")
    .setOAuthAccessTokenSecret("**********************************************************")
    .build

val twitter_auth = new TwitterFactory(config)
val a = new twitter4j.auth.OAuthAuthorization(config)
val atwitter : Option[twitter4j.auth.Authorization] =  Some(twitter_auth.getInstance(a).getAuthorization())

val sparkConf = new SparkConf().setAppName("TwitterPopularTags").setMaster("local[*]")
val ssc = new StreamingContext(sparkConf, Seconds(2))
// ssc.checkpoint("D:/test")
val stream = TwitterUtils.createStream(ssc, atwitter, null, StorageLevel.MEMORY_AND_DISK_2)

val hashTags = stream.map(status => status.getUser().getName())
hashTags.foreachRDD(rdd => {
  rdd.foreach(println)
})

ssc.start()
ssc.awaitTermination()

有人能帮我解决这个问题吗?
谢谢:)

共有1个答案

皇甫逸清
2023-03-14

转到抛出异常的行,我们可以看到:

如果(filters.size>0){

为了让这一行抛出一个NPE,过滤器必须为null,这正是TwitterStream实例化中发生的情况:

 类似资料:
  • 问题内容: 今天,我们发现我的一位客户的Twitter提要已损坏。 我尝试切换为使用新的API 1.1,但出现以下错误: 即使使用自己的示例也会产生相同的响应: 我正在参考以下文档。 知道这是怎么回事吗? 谢谢,Mikey 问题答案: 因此,似乎Twitter的最新API 1.1 不允许 未经身份验证的访问-即使是看似公开的数据也是如此……就像时间轴上的最新3条推文一样。 我在此找到的最好的文章(

  • 我正在使用Flume 1.6.0-cdh5.9.1使用Twitter源流式传输推文。 配置文件如下所示: 对于Cloudera. jar依赖项,我使用Maven使用以下依赖项构建了: 现在,当我运行Flume Agent时,它成功启动,连接到Twitter,但在最后一行(接收状态流)后停止: 在最后一行之后什么都没有发生。它不会终止,不会流式传输任何东西。我看了一下HDFS位置,那里没有创建任何东

  • 我正在尝试使用flume从Twitter API流传输一些数据。代码最初确实有效。但是现在我得到了404错误: 下面是我的conf文件代码。

  • 问题内容: 我有以下代码,如果我使用2.0.0版本,该代码肯定会返回正确的数据结果,但是由于某些原因,bootstrap的typeahead插件给我一个错误。我将其粘贴在代码示例下面: 当我运行此示例时,我得到一个jQuery错误,内容如下: 有什么想法吗?…相同的代码在插件的2.0.0版本中有效,但是无法写入我的剔除对象模型。 对于2.0.0版本,此代码正在工作: 问题答案: 看一下这个拉取请求

  • 我在Ubuntu 14.04上使用Hadoop-1.2.1 我正在尝试使用Flume-1.6.0将数据从twitter流式传输到HDFS。我已经下载了Flume-sources-1.0-SNAPSHOT。jar并将其包含在flume/lib文件夹中。我已经设置了flume-sources-1.0-SNAPSHOT的路径。jar在conf/FLUME环境中显示为FLUME_CLASSPATH。这是我

  • 问题内容: 我需要使用twitter api请求使用jquery进行twitter搜索。阅读文档后,我编写以下代码: search.json无法加载资源>执行页面时,Google Chrome在控制台上显示此错误: XMLHttpRequest无法加载 http://search.twitter.com/search.json?callback=myFunction&q=stackoverflow