获取未定义USER_AGENT的错误（Python 3）

Question

我正试图从“iframe”标签中获取信息。当我执行这段代码时，它说没有定义“USER\u AGENT”。我怎样才能解决这个问题？

import requests
from bs4 import BeautifulSoup

page = requests.get("https://etherscan.io/token/0x168296bb09e24a88805cb9c33356536b980d3fc5#balances" + "/token/generic-tokenholders2?a=0x168296bb09e24a88805cb9c33356536b980d3fc5&s=100000000000000000", headers=USER_AGENT, timeout=5)
soup = BeautifulSoup(page.content, "html.parser")
test = soup.find_all('iframe')

Answer 1

我们必须提供一个用户代理，这里有一个到假冒用户代理的链接。

import requests
from bs4 import BeautifulSoup


USER_AGENT = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/53'}
url = "https://etherscan.io/token/0x168296bb09e24a88805cb9c33356536b980d3fc5#balances"
token = "/token/generic-tokenholders2?a=0x168296bb09e24a88805cb9c33356536b980d3fc5&s=100000000000000000"


page = requests.get(url + token, headers=USER_AGENT, timeout=5)
soup = BeautifulSoup(page.content, "html.parser")
test = soup.find_all('iframe')

您可以简单地不使用用户代理，代码：

import requests
from bs4 import BeautifulSoup


url = "https://etherscan.io/token/0x168296bb09e24a88805cb9c33356536b980d3fc5#balances"
token = "/token/generic-tokenholders2?a=0x168296bb09e24a88805cb9c33356536b980d3fc5&s=100000000000000000"


page = requests.get(url + token, timeout=5)
soup = BeautifulSoup(page.content, "html.parser")
test = soup.find_all('iframe')

为了便于阅读，我将您的URL分为URL和令牌。这就是为什么有两个变量URL和token

Answer 2

错误是清楚地告诉你什么是错的。您正在作为HeaderUSER\u AGENT传入，这是您之前在代码中未定义的。看看这篇关于如何在方法中使用头的文章。

文档说明您必须为请求传入HTTP头字典，而您传入了未定义的变量USER\u AGENT。

从请求库API：

标题=无

不区分大小写的响应头字典。

例如，headers['content-encoding']将返回'content-encoding'响应头的值。

编辑：

有关Content-Type标头的更好解释，请参阅这篇SO文章。另请参阅这篇WebMasters文章，其中解释了接受和内容类型HTTP标头之间的区别。

由于您似乎只对刮取iframe标记感兴趣，您可以简单地完全省略头参数，如果您在代码中打印出test对象，您应该会看到结果。

import requests
from bs4 import BeautifulSoup

page = requests.get("https://etherscan.io/token/0x168296bb09e24a88805cb9c33356536b980d3fc5#balances" + "/token/generic-tokenholders2?a=0x168296bb09e24a88805cb9c33356536b980d3fc5&s=100000000000000000", timeout=10)
soup = BeautifulSoup(page.content, "lxml")
test = soup.find_all('iframe')

for tag in test:
    print(tag)