python cookie反爬处理的实现
Cookies的处理
作用
保存客户端的相关状态
在爬虫中如果遇到了cookie的反爬如何处理?
手动处理
在抓包工具中捕获cookie,将其封装在headers中
应用场景:cookie没有有效时长且不是动态变化
自动处理
使用session机制
使用场景:动态变化的cookie
session对象:该对象和requests模块用法几乎一致.如果在请求的过程中产生了cookie,如果该请求使用session发起的,则cookie会被自动存储到session中.
案例
爬取雪球网中的新闻资讯数据:https://xueqiu.com/
#获取一个session对象
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
session = requests.Session()
main_url = 'https://xueqiu.com' #推测对该url发起请求会产生cookie
session.get(main_url,headers=headers)
url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json'
params = {
'since_id': '-1',
'max_id': '20346152',
'count': '15',
'category': '-1',
}
page_text = session.get(url,headers=headers,params=params).json()
page_text
到此这篇关于python cookie反爬处理的实现的文章就介绍到这了,更多相关python cookie反爬内容请搜索小牛知识库以前的文章或继续浏览下面的相关文章希望大家以后多多支持小牛知识库！
-
有的时候，当我们的爬虫程序完成了，并且在本地测试也没有问题，爬取了一段时间之后突然就发现报错无法抓取页面内容了。这个时候，我们很有可能是遇到了网站的反爬虫拦截。 我们知道，网站一方面想要爬虫爬取网站，比如让搜索引擎爬虫去爬取网站的内容，来增加网站的搜索排名。另一方面，由于网站的服务器资源有限，过多的非真实的用户对网站的大量访问，会增加运营成本和服务器负担。 因此，有些网站会设置一些反爬虫的措施。我
-
本文向大家介绍基于python 爬虫爬到含空格的url的处理方法，包括了基于python 爬虫爬到含空格的url的处理方法的使用技巧和注意事项，需要的朋友参考一下 道友问我的一个问题，之前确实没遇见过，在此记录一下。 问题描述 在某网站主页提取url进行迭代，爬虫请求主页时没有问题，返回正常，但是在访问在主页提取到的url时出现了400状态码(400 Bad Request)。 结论 先贴出结论来
-
本文向大家介绍java代理实现爬取代理IP的示例，包括了java代理实现爬取代理IP的示例的使用技巧和注意事项，需要的朋友参考一下 仅仅使用了一个java文件，运行main方法即可，需要依赖的jar包是com.alibaba.fastjson（版本1.2.28）和Jsoup（版本1.10.2） 如果用了pom，那么就是以下两个： 完整的代码如下： 以上这篇java代理实现爬取代理IP的示例就是小编
-
在网络爬虫运行时出现异常，若不处理则会因报错而终止运行，导致爬取数据中断，所以异常处理还是十分重要的。 urllib.error可以接收有urllib.request产生的异常。urllib.error有两个类，URLError和HTTPError。 URLError内有一个属性：reason 返回错误的原因 # 测试URLError的异常处理 from urllib import request
-
本文向大家介绍Python实现的异步代理爬虫及代理池，包括了Python实现的异步代理爬虫及代理池的使用技巧和注意事项，需要的朋友参考一下 使用python asyncio实现了一个异步代理池，根据规则爬取代理网站上的免费代理，在验证其有效后存入redis中，定期扩展代理的数量并检验池中代理的有效性，移除失效的代理。同时用aiohttp实现了一个server，其他的程序可以通过访问相应的url来从
-
本文向大家介绍浅谈Python爬取网页的编码处理，包括了浅谈Python爬取网页的编码处理的使用技巧和注意事项，需要的朋友参考一下 背景 中秋的时候，一个朋友给我发了一封邮件，说他在爬链家的时候，发现网页返回的代码都是乱码，让我帮他参谋参谋(中秋加班，真是敬业= =！)，其实这个问题我很早就遇到过，之前在爬小说的时候稍微看了一下，不过没当回事，其实这个问题就是对编码的理解不到位导致的。 问题 很普