Python爬虫通过替换http request header来欺骗浏览器实现登录功能
以豆瓣为例，访问https://www.douban.com/contacts/list 来查看自己关注的人，要登录才能查看。
如果用requests.get()方法获取这个http，没登录只能抓取回一个登录界面，所以我们要用Python登录网站才能抓取想要的网页。
一个简便的方法就是自己在浏览器上登录好，然后通过下图方法（Chrome为例），找到自己的Cookie和User-Agent，然后发送request时用这复制来的header替换掉待发送的request以达到登录的目的，server端会凭这个认为你是已经登录的用户。
代码如下：
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
'Cookie':'gr_user_id=1f9ea7ea-462a-4a6f-9d55-156631fc6d45; bid=vPYpmmD30-k; ll="118282"; ue="codin; __utmz=30149280.1499577720.27.14.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/doulist/240962/; __utmv=30149280.3049; _vwo_uuid_v2=F04099A9dd; viewed="27607246_26356432"; ap=1; ps=y; push_noty_num=0; push_doumail_num=0; dbcl2="30496987:gZxPfTZW4y0"; ck=13ey; _pk_ref.100001.8cb4=%5B%22%22%2C%22%22%2C1515153574%2C%22https%3A%2F%2Fbook.douban.com%2Fmine%22%5D; __utma=30149280.833870293.1473539740.1514800523.1515153574.50; __utmc=30149280; _pk_id.100001.8cb4=255d8377ad92c57e.1473520329.20.1515153606.1514628010.'
} #替换成自己的cookie
r = requests.get('https://www.douban.com/contacts/list', headers = headers)
print(r.text)
总结
以上所述是小编个大家介绍的Python爬虫通过替换http request header来欺骗浏览器实现登录 ，希望对大家有所帮助，如果大家有任何疑问欢迎给我留言，小编会及时回复大家的！
-
本文向大家介绍Python反爬虫伪装浏览器进行爬虫，包括了Python反爬虫伪装浏览器进行爬虫的使用技巧和注意事项，需要的朋友参考一下 对于爬虫中部分网站设置了请求次数过多后会封杀ip，现在模拟浏览器进行爬虫，也就是说让服务器认识到访问他的是真正的浏览器而不是机器操作 简单的直接添加请求头，将浏览器的信息在请求数据时传入： 打开浏览器--打开开发者模式--请求任意网站 如下图：找到请求的的名字，打
-
本文向大家介绍Python爬虫使用浏览器cookies：browsercookie过程解析，包括了Python爬虫使用浏览器cookies：browsercookie过程解析的使用技巧和注意事项，需要的朋友参考一下 很多用Python的人可能都写过网络爬虫，自动化获取网络数据确实是一件令人愉悦的事情，而Python很好的帮助我们达到这种愉悦。然而，爬虫经常要碰到各种登录、验证的阻挠，让人灰心丧气（
-
本文向大家介绍python实现简单爬虫功能的示例，包括了python实现简单爬虫功能的示例的使用技巧和注意事项，需要的朋友参考一下 在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。 我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样
-
我正在尝试自动登录到我的应用程序，其中使用了谷歌sso身份验证。但是，登录表单返回错误“此浏览器或应用程序可能不安全”。我将我的google帐户选项设置为允许不太安全的应用程序，但仍然没有。 我浏览了几个主题： GMail正在阻止通过自动化（Selenium）登录 Selenium Google登录块 使用python和selenium自动登录Google显示“此浏览器或应用程序可能不安全” 谷歌
-
本文向大家介绍Android利用爬虫实现模拟登录的实现实例，包括了Android利用爬虫实现模拟登录的实现实例的使用技巧和注意事项，需要的朋友参考一下 Android利用爬虫实现模拟登录的实现实例 为了用手机登录校网时不用一遍一遍的输入账号密码，于是决定用爬虫抓取学校登录界面，然后模拟填写本次保存的账号、密码，模拟点击登录按钮。实现过程折腾好几个。 一开始选择的是htmlunit解析登录界面htm
-
本文向大家介绍python爬虫模拟浏览器的两种方法实例分析，包括了python爬虫模拟浏览器的两种方法实例分析的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了python爬虫模拟浏览器的两种方法。分享给大家供大家参考，具体如下： 爬虫爬取网站出现403，因为站点做了防爬虫的设置 一、Herders 属性 爬取CSDN博客 爬取结果 urllib.error.HTTPError: HTTP