使用Python lxml抓取数据返回adBlock ker值

Question

我目前正在抓取HTML，以便从我在Discord中创建的机器人的网页中获取一些数据。我以前曾成功地使用lxml从不同的网站上刮取HTML，但是，我现在尝试刮取的网站正在检测adblocker，因此无论我尝试刮取什么数据，我都会收到相同的值；

我的代码如下`从lxml导入html导入请求导入sys

def main（arg）：页面=请求。得到（”https://fortnitetracker.com/profile/pc/“arg）tree=html。fromstring（page.content）

killdeath = tree.xpath('//div[@class="stats">K/d]/text()')
print(killdeath)`

我得到的值是“代码>”请考虑将FnTITE跟踪器添加到AdBuffice白名单中！我们的广告支持运行此网站的开发和硬件成本。真的讨厌广告吗？成为一个

Answer 1

可能发生的是，你得到的初始页面实际上只有“请考虑......”文本和一堆实际加载你看到的内容的JavaScript。（试着打印出page.content，看看你实际上得到了什么。）

无论如何，因为请求库不是一个成熟的网络浏览器，它不执行JavaScript，所以你只看到广告拦截器消息。

Answer 2

网站上说：

为了使用我们的API，我们要求您使用API密钥。要使用API密钥，您需要将其作为标头与请求一起传递。

您是否将标题添加到请求中？此外，我建议在postman或类似的应用程序中发出请求，这样你就可以看到整个响应。