python3 Scrapy爬虫框架ip代理配置的方法
什么是Scrapy？
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。
一、背景
在做爬虫项目的过程中遇到ip代理的问题，网上搜了一些，要么是用阿里云的ip代理，要么是搜一些网上现有的ip资源，然后配置在setting文件中。这两个方法都存在一些问题。
1、阿里云ip代理方法，网上大都是配置阿里云的ip代理的用户名、密码然后加密、解密。我按照上面的方面操作，发现阿里云上面的ip代理的参数里面没有用户名、密码相关的参数配置了。
2、至于网上查到的另外一种方法是在setting文件里面添加代理IP资源池，然后再在middlewares.py文件里面添加上一些代码来实现，但代理ip不一定是可用的。
二、改进方法
1、基于背景中提到的网上两种方法的局限性，我在此综合了两种方法。
2、改进方法：
1）利用阿里云的ip代理API生成50个代理IP资源池（用自己的阿里云账号登陆生成的，ip有效性得到保障）
2）直接在middlewares.py中添加如下函数，PROXIES为在阿里云上面生成的ip，此处涉及到个人隐私，故用****代替。
class my_proxy(object):
def process_request(self, request, spider):
PROXIES = ['http://****.****.****.****:8080']
ip = random.choice(PROXIES)
request.meta['Proxy-Authorization'] = ip
注意：request.meta的方括号里面的关键字需要写对，不然无法正常运行。
总结
以上所述是小编给大家介绍的python3 Scrapy爬虫框架ip代理配置的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对小牛知识库网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！
-
主要内容：Scrapy下载安装,创建Scrapy爬虫项目,Scrapy爬虫工作流程,settings配置文件Scrapy 是一个基于 Twisted 实现的异步处理爬虫框架，该框架使用纯 Python 语言编写。Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等。 提示：Twisted 是一个基于事件驱动的网络引擎框架，同样采用 Python 实现。 Scrapy下载安装 Scrapy 支持常见的主流平台，比如 Linux、Mac、Windows 等，因此你可以很方便的安装它
-
本文向大家介绍讲解Python的Scrapy爬虫框架使用代理进行采集的方法，包括了讲解Python的Scrapy爬虫框架使用代理进行采集的方法的使用技巧和注意事项，需要的朋友参考一下 1.在Scrapy工程下新建“middlewares.py” 2.在项目配置文件里(./project_name/settings.py)添加 只要两步，现在请求就是通过代理的了。测试一下^_^ 3.使用随机user
-
本文向大家介绍Python爬虫框架scrapy实现downloader_middleware设置proxy代理功能示例，包括了Python爬虫框架scrapy实现downloader_middleware设置proxy代理功能示例的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了Python爬虫框架scrapy实现downloader_middleware设置proxy代理功能。分享给大家供
-
本文向大家介绍Python代理IP爬虫的新手使用教程，包括了Python代理IP爬虫的新手使用教程的使用技巧和注意事项，需要的朋友参考一下 前言 Python爬虫要经历爬虫、爬虫被限制、爬虫反限制的过程。当然后续还要网页爬虫限制优化，爬虫再反限制的一系列道高一尺魔高一丈的过程。爬虫的初级阶段，添加headers和ip代理可以解决很多问题。 本人自己在爬取豆瓣读书的时候,就以为爬取次数过多,直接被封
-
WebMagic是我业余开发的一款简单灵活的爬虫框架。基于它你可以很容易的编写一个爬虫。 这本小书以WebMagic入手，一方面讲解WebMagic的使用方式，另一方面讲解爬虫开发的一些惯用方案。
-
本文向大家介绍python爬虫框架talonspider简单介绍，包括了python爬虫框架talonspider简单介绍的使用技巧和注意事项，需要的朋友参考一下 1.为什么写这个？ 一些简单的页面，无需用比较大的框架来进行爬取，自己纯手写又比较麻烦 因此针对这个需求写了talonspider: •1.针对单页面的item提取 - 具体介绍点这里 •2.spider模块 - 具体介绍点这里 2.介