这篇文章主要介绍了Python requests获取网页常用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
主要记录使用 requests 模块获取网页源码的方法
class Crawler(object): """ 采集类 """ def __init__(self, base_url): self._base_url = base_url self._cookie = None self._getCookie() def _getCookie(self): """ 获取站点cookie :return: """ try: res = requests.get(self._base_url) res.raise_for_status() # TODO response.cookies获取到的是一个cookiejar对象,需要使用requests.utils.dict_from_cookiejar来 # TODO 将cookiejar对象转换为一个字典,这个字典后续使用的时候,在请求时直接传入就可以了, # 如 requests.get(url, cookies=cookies) self._cookie = requests.utils.dict_from_cookiejar(res.cookies) print self._cookie except Exception as e: print e def get_html_text(self, url, **kwargs): """ 爬取网页的通用代码框架 :param url: :param method: :param kwargs: :return: """ try: kwargs.setdefault('cookies', self._cookie) res = requests.get(url, **kwargs) # TODO 若响应状态码不是200, 抛出 HTTPError 异常 res.raise_for_status() res.encoding = res.apparent_encoding # print requests.utils.dict_from_cookiejar(res.cookies) return res.text except Exception as e: print traceback.print_exc() return
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持小牛知识库。
本文向大家介绍JavaScript获取页面元素的常用方法详解,包括了JavaScript获取页面元素的常用方法详解的使用技巧和注意事项,需要的朋友参考一下 1、通过标签获取元素,返回一个数组 2、通过id获取页面元素 3、通过class名字获取页面元素 4、通过CSS选择符方式获取页面元素 以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持呐喊教程。
本文向大家介绍C#获取网页源代码的方法,包括了C#获取网页源代码的方法的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了C#获取网页源代码的方法。分享给大家供大家参考。具体如下: 希望本文所述对大家的C#程序设计有所帮助。
本文向大家介绍javascript获取网页宽高方法汇总,包括了javascript获取网页宽高方法汇总的使用技巧和注意事项,需要的朋友参考一下 document.body.clientWidth - 网页可见区域宽 document.body.clientHeight - 网页可见区域高 document.body.offsetWidth - 网页可见区域宽,包括边线和滚动条的宽 document
本文向大家介绍JavaScript获取网页表单提交方式的方法,包括了JavaScript获取网页表单提交方式的方法的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了JavaScript获取网页表单提交方式的方法。分享给大家供大家参考。具体如下: JavaScript获取网页表单的提交方式是get还是post,获取提交方式可以通过表单的method属性获得 运行结果如下: 希望本文所述对大家的
本文向大家介绍golang解析html网页的方法,包括了golang解析html网页的方法的使用技巧和注意事项,需要的朋友参考一下 1.先看一下整个结构: 主要是web和html目录,分别存放go代码和html相关的资源文件。 2.html代码比较简单,代码如下: 就是显示一张图片,然后加登陆表单。 3.而go代码也比较简单,如下: 主要是注意显示图片的路径,不能是原来的html的路径,必须是go
本文向大家介绍JavaScript获取网页表单action属性的方法,包括了JavaScript获取网页表单action属性的方法的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了JavaScript获取网页表单action属性的方法。分享给大家供大家参考。具体如下: JavaScript获取网页表单的action属性,即要提交到的url地址,有时候需要提交到当前页面,则可能会设置actio