Python-WebScraping使用请求模块-URL抛出错误-403-禁止

Question

我试图从https://www.ecfr.gov/cgi-bin/ecfr？page=browse使用python中的请求模块获取数据

header = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9", 
"Accept-Encoding": "gzip, deflate, br", 
"Accept-Language": "en-US,en;q=0.9", 
"Cache-Control": "max-age=0", 
"Host": "httpbin.org", 
"Sec-Fetch-Dest": "document", 
"Sec-Fetch-Mode": "navigate", 
"Sec-Fetch-Site": "none", 
"Sec-Fetch-User": "?1", 
"Upgrade-Insecure-Requests": "1", 
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36", 
"X-Amzn-Trace-Id": "Root=1-5ef3288f-10e678d0e55c0670c0807730"}

r=requests.get(url,headers=header)

我还要求使用用户代理和头信息中的所有参数（我在开发人员工具中看到）。

我已经尝试使用免费代理/旋转用户头/cookie和我能得到的一切。但不知何故，网站能够知道我没有使用标题。

在html回应中--我看到那个网站要求完成验证码。

我能跳过吗？

Answer 1

通过检查http请求，我发现了cloudflare服务器响应跟踪：

Cloudflare或Screshield以其刮擦保护和安全级别而闻名。在这里阅读更多。

我能跳过吗？

>

应用（插件）验证码解决服务。如果您使用唯一的python编码，这就不那么容易了。

利用浏览器自动化，使ScrapeShield认为一个真正的用户浏览网站。它确实需要更多的资源和时间（包括开发时间）。参见Chromium headless实例自动化与裸http请求的刮擦速度比较表。