使用Python爬虫库requests发送请求、传递URL参数、定制headers
首先我们先引入requests模块
import requests
一、发送请求
r = requests.get('https://api.github.com/events') # GET请求
r = requests.post('http://httpbin.org/post', data = {'key':'value'}) # POST请求
r = requests.put('http://httpbin.org/put', data = {'key':'value'}) # PUT请求
r = requests.delete('http://httpbin.org/delete') # DELETE请求
r = requests.head('http://httpbin.org/get') # HEAD请求
r = requests.options('http://httpbin.org/get') # OPTIONS请求
type(r)
requests.models.Response
二、传递URL参数
URL传递参数的形式为：httpbin.org/get?key=val。但是手动的构造很麻烦，这是可以使用params参数来方便的构造带参数URL。
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
print(r.url)
http://httpbin.org/get?key1=value1&key2=value2
同一个key可以有多个value
payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get('http://httpbin.org/get', params=payload)
print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3
三、定制headers
只需要将一个dict传递给headers参数便可以定制headers
url = 'https://api.github.com/some/endpoint'
headers = {'user-agent': 'my-app/0.0.1'}
r = requests.get(url, headers=headers)
更多关于Python爬虫库requests的使用方法请点击下面的相关链接
-
本文向大家介绍使用requests库制作Python爬虫，包括了使用requests库制作Python爬虫的使用技巧和注意事项，需要的朋友参考一下 使用python爬虫其实就是方便，它会有各种工具类供你来使用，很方便。Java不可以吗？也可以，使用httpclient工具、还有一个大神写的webmagic框架，这些都可以实现爬虫，只不过python集成工具库，使用几行爬取，而Java需要写更多的行
-
本文向大家介绍python爬虫---requests库的用法详解，包括了python爬虫---requests库的用法详解的使用技巧和注意事项，需要的朋友参考一下 requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多 因为是第三方库，所以使用前需要cmd安装 pip install requests 安装完成后import一下，正常则说明可以开始使用了。 基本用
-
本文向大家介绍python爬虫 基于requests模块的get请求实现详解，包括了python爬虫 基于requests模块的get请求实现详解的使用技巧和注意事项，需要的朋友参考一下 需求：爬取搜狗首页的页面数据 requests模块如何处理携带参数的get请求，返回携带参数的请求 需求:指定一个词条，获取搜狗搜索结果所对应的页面数据 之前urllib模块处理url上参数有中文的需要处理编码，
-
本文向大家介绍python 使用 requests 模块发送http请求 的方法，包括了python 使用 requests 模块发送http请求 的方法的使用技巧和注意事项，需要的朋友参考一下 Requests具有完备的中英文文档, 能完全满足当前网络的需求, 它使用了urllib3, 拥有其所有的特性! 最近在学python自动化，怎样用python发起一个http请求呢？ 通过了解 requ
-
本文向大家介绍python 实现Requests发送带cookies的请求，包括了python 实现Requests发送带cookies的请求的使用技巧和注意事项，需要的朋友参考一下 一、缘 起 最近学习【悠悠课堂】的接口自动化教程，文中提到Requests发送带cookies请求的方法，笔者随之也将其用于手头实际项目中，大致如下 二、背 景 实际需求是监控平台侧下发消息有无异常，如有异常便触发报
-
问题内容： 是否可以使用Python的库发送SOAP请求？ 问题答案： 确实有可能。 这是一个使用普通请求lib调用Weather SOAP Service的示例： 一些注意事项： 标头很重要。没有正确的标头，大多数SOAP请求将无法工作。可能是更 正确 使用的标头（但weatherservice更喜欢 这将以xml字符串形式返回响应-然后，您需要解析该xml。 为简单起见，我以纯文本形式包含了该