当前位置: 首页 > 编程笔记 >

Python requests获取网页常用方法解析

长孙逸仙
2023-03-14
本文向大家介绍Python requests获取网页常用方法解析,包括了Python requests获取网页常用方法解析的使用技巧和注意事项,需要的朋友参考一下

这篇文章主要介绍了Python requests获取网页常用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

主要记录使用 requests 模块获取网页源码的方法

class Crawler(object):
 """
 采集类
 """
 def __init__(self, base_url):
  self._base_url = base_url
  self._cookie = None
  self._getCookie()

 def _getCookie(self):
  """
  获取站点cookie
  :return:
  """
  try:
   res = requests.get(self._base_url)
   res.raise_for_status()
   # TODO response.cookies获取到的是一个cookiejar对象,需要使用requests.utils.dict_from_cookiejar来
   # TODO 将cookiejar对象转换为一个字典,这个字典后续使用的时候,在请求时直接传入就可以了,
   # 如 requests.get(url, cookies=cookies)
   self._cookie = requests.utils.dict_from_cookiejar(res.cookies)
   print self._cookie
  except Exception as e:
   print e

 def get_html_text(self, url, **kwargs):
  """
  爬取网页的通用代码框架
  :param url:
  :param method:
  :param kwargs:
  :return:
  """
  try:
   kwargs.setdefault('cookies', self._cookie)
   res = requests.get(url, **kwargs)
   # TODO 若响应状态码不是200, 抛出 HTTPError 异常
   res.raise_for_status()
   res.encoding = res.apparent_encoding
   # print requests.utils.dict_from_cookiejar(res.cookies)
   return res.text
  except Exception as e:
   print traceback.print_exc()
   return

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持小牛知识库。

 类似资料:
  • 本文向大家介绍JavaScript获取页面元素的常用方法详解,包括了JavaScript获取页面元素的常用方法详解的使用技巧和注意事项,需要的朋友参考一下 1、通过标签获取元素,返回一个数组 2、通过id获取页面元素 3、通过class名字获取页面元素 4、通过CSS选择符方式获取页面元素 以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持呐喊教程。

  • 本文向大家介绍C#获取网页源代码的方法,包括了C#获取网页源代码的方法的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了C#获取网页源代码的方法。分享给大家供大家参考。具体如下: 希望本文所述对大家的C#程序设计有所帮助。

  • 本文向大家介绍javascript获取网页宽高方法汇总,包括了javascript获取网页宽高方法汇总的使用技巧和注意事项,需要的朋友参考一下 document.body.clientWidth - 网页可见区域宽 document.body.clientHeight - 网页可见区域高 document.body.offsetWidth - 网页可见区域宽,包括边线和滚动条的宽 document

  • 本文向大家介绍JavaScript获取网页表单提交方式的方法,包括了JavaScript获取网页表单提交方式的方法的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了JavaScript获取网页表单提交方式的方法。分享给大家供大家参考。具体如下: JavaScript获取网页表单的提交方式是get还是post,获取提交方式可以通过表单的method属性获得 运行结果如下: 希望本文所述对大家的

  • 本文向大家介绍golang解析html网页的方法,包括了golang解析html网页的方法的使用技巧和注意事项,需要的朋友参考一下 1.先看一下整个结构: 主要是web和html目录,分别存放go代码和html相关的资源文件。 2.html代码比较简单,代码如下: 就是显示一张图片,然后加登陆表单。 3.而go代码也比较简单,如下: 主要是注意显示图片的路径,不能是原来的html的路径,必须是go

  • 本文向大家介绍JavaScript获取网页表单action属性的方法,包括了JavaScript获取网页表单action属性的方法的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了JavaScript获取网页表单action属性的方法。分享给大家供大家参考。具体如下: JavaScript获取网页表单的action属性,即要提交到的url地址,有时候需要提交到当前页面,则可能会设置actio