使用Tweepy的火花流

Question

我正在尝试使用python库Tweepy来传输twitter数据。我设置了工作环境，谷歌了一下这些东西，但是我不知道它们是如何工作的。我想在python (tweepy)中使用spark streaming(DStream-Batch processing)。我至少经历了以下环节:

< li >如何获取tweepy中某个位置的特定标签的推文？ < Li > http://spark . Apache . org/docs/latest/streaming-programming-guide . html < Li > http://docs . tweepy . org/en/v 3 . 5 . 0/streaming _ how _ to . html < li >使用Tweepy检索Twitter数据 < Li > http://www . awesomestats . in/spark-Twitter-stream

以下补间代码对我来说工作正常：

import tweepy

consumer_key = ''
consumer_secret = ''
access_token = ''
access_secret = ''

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_secret)
api = tweepy.API(auth)

politicsTweets = tweepy.Cursor(api.search, q='#GONAWAZGO').items(100)

for tweet in politicsTweets:
    print tweet.created_at, tweet.text, tweet.lang

但它没有使用火花流。我应该如何更新上述代码以使用火花流？我不明白为什么我需要两个单独的文件？总的来说，我正在尝试执行以下操作：

1. 从2017年5月1日起获取前10个标签。（Tweepy搜索函数接受参数“since_id”，但不知道如何使用它[http://docs.tweepy.org/en/latest/api.html#help-方法]？）
2. 统计自2013年5月11日以来#GONAWAZGO发现的次数。
3. 统计有多少#gonawazgo是由巴基斯坦以外的人做的。（没有任何日期限制，Tweepy游标方法接受地理代码，但我希望从提供的地理代码以外的位置发送推文。）
4. 观察推特上关于法国大选的趋势
5. 查找由发布的最新推文[https://twitter.com/imrankhanpti]推特帐户。（Tweepy搜索方法接受userID，我如何才能得到它？）

最重要的是，我对何时使用Twitter REST/Streaming API有点困惑。我认为对于第一点和第二点，应该使用 REST API，因为我们正在处理迄今为止的数据，而对于剩余的流 API，应该使用。

Answer 1

Twitter 搜索 API 有 7 天的限制。这意味着您无法获取任何超过 7 天的数据。这是Twitter搜索API文档的链接。看看“直到”参数提到的描述：

https://developer.twitter.com/en/docs/tweets/search/api-reference/get-search-tweets.html

我希望这有帮助！