前言
最近在爬行 nosec.org 的数据,看了下需要模拟登录拿到cookie后才能访问想抓的数据,重要的是 nosec.org 的登录页面 form 中有个 authenticity_token 字段每次访问登录页面都会自动生成,而且会和你的用户名,密码一样被POST到服务器。
经过一番研究后发现,直接访问网站登录界面的时候,服务器的响应头会有一个Set-Cookie字段,如下:
_nosec_session=ZTlHNmxuZXE4R0s1UXpsVUxGRTNPblNBWFd2TXU4TU9aNWVJM2lyLzNFY0pLeUdNMDY1cmZqanpkc0ppaGtjU i9kTGdWenBrNXJKenNqbnN2YUxucE1DRW5UMHNTR1RxWDZPeGlLazllTmY1czVpYWplazJXdWkvZS9wUHJpc1Jya3ZzcmNVMytPR it2T1dEcGx4bHNDTTVzSmVTb0xhSjRycE03QUl5RXE5Z2tZWG1mTHFBWGx1QW52QjBURi8rLS1acE8yeVRtMFRZR1JWdExneStwdmpRPT0 %3D--a6ccd9a12a8af5c8b5fb6625c24bb4db0398c503; path=/; HttpOnly
而且页面form 的表单有一个 authenticity_token 的 input ,内容如下:
<input type="hidden" name="authenticity_token" value="cGdhqVxDMRndpKbpvIV66wfEQlGf4Rz6UtXqsf79brEvFveHw2rCc6uz3euFEyUlpuA0azt5uNhnmrUiCaAyUg==" />
之前按照后端的逻辑分析_nosec_session 的值 经过解密以及各种xx手法得到 authenticity_token 的值,然后顺带着 username 和 password post就行了,最后发现这真是一个大写的傻逼!! 老是用后端的思维思考问题,过不得最近走路都走不好了。所以来,直接在页面中抓取已经生成的 authenticity_token 的值,然后 顺着 POST 过去就好了啊。
使用 requests 库 的 Session() 方法,确实很好用,比早期直接拿 cookielib 就干方便多了。
代码
类XXX 的 login 方法用来模拟登录,就贴出这部分登录的代码好了。
class XXX: def login(self): r = self.s.get('https://nosec.org/users/sign_in') html = r.text p1 = re.compile(r'city_token" value="(.*?)"') res = re.search(p1,html) authenticity_token = str(res.group(1)) print 'authenticity_token:',authenticity_token # print 'cookies',self.s.cookies # print s.cookies data = { 'authenticity_token':authenticity_token, 'user[login]':'xxxxx', 'user[password]':'xxxxx' } r = self.s.post('https://nosec.org/users/sign_in',data=data) # print r.headers # print r.request.headers # print self.s.cookies print '[*] OK!' return True
调用了 login 方法后 下次直接用self.s.get() 请求网页就会带着 cookie 啦。
之前被思路坑了一次,被笔误也坑了一次(https 写成 http),导致我抓狂了好久才发现这个 “BUG” = =、所以还得多谢 代码,提高排 Bug 的效率 2333!
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对小牛知识库的支持。
主要内容:注册登录,分析网页结构,编写完整程序在使用爬虫采集数据的规程中,我们会遇到许多不同类型的网站,比如一些网站需要用户登录后才允许查看相关内容,如果遇到这种类型的网站,又应该如何编写爬虫程序呢?Cookie 模拟登录技术成功地解决了此类问题。 Cookie 是一个记录了用户登录状态以及用户属性的加密字符串。当你第一次登陆网站时,服务端会在返回的 Response Headers 中添加 Cookie, 浏览器接收到响应信息后,会将 Co
本文向大家介绍PHP如何获取Cookie并实现模拟登录,包括了PHP如何获取Cookie并实现模拟登录的使用技巧和注意事项,需要的朋友参考一下 一、定义Cookie存储路径 必须使用绝对路径 $cookie_jar = dirname(__FILE__)."/pic.cookie"; 二、获取Cookie 将cookie存入文件 三、模拟浏览器获取验证码 该服务器验证码有漏洞,可以自己指定 取出c
本文向大家介绍python 利用浏览器 Cookie 模拟登录的用户访问知乎的方法,包括了python 利用浏览器 Cookie 模拟登录的用户访问知乎的方法的使用技巧和注意事项,需要的朋友参考一下 首先在火狐浏览器上登录知乎,然后使用火狐浏览器插件 Httpfox 获取 GET 请求的Cookie,这里注意使用状态值为 200(获取成功)的某次GET. 将 Cookies 复制出来,注意这一行非
本文向大家介绍PHP读取CURL模拟登录时生成Cookie文件的方法,包括了PHP读取CURL模拟登录时生成Cookie文件的方法的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了PHP读取CURL模拟登录时生成Cookie文件的方法。分享给大家供大家参考。具体实现方法如下: 在使用PHP中的CURL模拟登录时会保存一个Cookie文件,例如下面的代码 在temp文件夹下保存一个cookie
问题内容: 我的Web应用程序使用会话来存储有关用户登录后的信息,并在用户在应用程序中逐页浏览时维护该信息。在这个特定的应用程序,我存储,和人的。 我想在登录时提供“保持登录状态”选项,该选项会将cookie在用户的计算机上放置两周,当他们返回应用程序时,将使用相同的详细信息重新开始会话。 这样做的最佳方法是什么?我不想将其存储在cookie中,因为这似乎会使一个用户更容易伪造另一位用户的身份。
本文向大家介绍python通过cookie模拟已登录状态的初步研究,包括了python通过cookie模拟已登录状态的初步研究的使用技巧和注意事项,需要的朋友参考一下 对于那些需要在登录环境下进行的爬虫操作,模拟登陆或伪装已登录状态是一个刚需。 分析了网上关于模拟登录的例子,很多都基于用户名/密码发起一个post请求,遇到有图片验证码的,比较理想的方法是进行人工干预,同步发起一个图片验证码的请求,