从twitter上抓取推文[重复]

Question

我正在尝试使用tweet id抓取tweet文本，我的代码是：

import selenium
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

browser=webdriver.Chrome()
base_url='https://twitter.com/FoxNews/status/'
query='964981093127655424'
url=base_url+query
browser.get(url)
title=browser.find_element_by_tag_name('title')
print(title)

输出为：

selenium.webdriver.remote.webelement.WebElement（会话="7ca1c0e4c33d62a122bc51bbc171c7eb"，元素="0.37665530454795326-1"）

我如何打印文本在人类可读的格式？（在这种情况下：“前总统@比尔·克林顿在推特上呼吁延长攻击性武器禁令”。）

Answer 1

正如Ofek所指出的，将请求/urllib和bs4结合使用是一个更好的抓取选项。

为了得到你感兴趣的文本，你可以这样做：

import requests
from bs4 import BeautifulSoup

page = requests.get("https://twitter.com/FoxNews/status/964981093127655424")
soup = BeautifulSoup(page.content, "html.parser")

tweet = soup.select_one(".js-tweet-text-container .TweetTextSize--jumbo")
print(tweet.get_text())

您的输出如下所示：

'On Twitter, former President @BillClinton called for a renewal of the Assault Weapons Ban.pic.twitter.com/hPaFyhGSfd'

现在，让我们来分析一下我们所做的。首先，requests向Twitter服务器发出GET请求，输入URL的内容保存为页面中的响应对象。然后，我们继续使用页面创建一个美化组对象。

为了找到推文文本，我们使用CSS选择器。

这是一个简单的刮擦工作，如果其中任何一个对你来说都没有意义，我建议你去看一些教程。你可以从这篇文章开始，它将教你网络抓取的基础知识，并帮助你开始。

希望这有帮助！

Answer 2

你可以使用。WebElement类的text属性。

我不认为selenium是抓取网站的最佳方式，你最好使用一些请求或带有beautifulsoup的urllib，使用实际的浏览器速度慢且不易控制（cookies、html属性等）