python Scrapy框架原理解析
Python 爬虫包含两个重要的部分：正则表达式和Scrapy框架的运用， 正则表达式对于所有语言都是通用的，网络上可以找到各种资源。
如下是手绘Scrapy框架原理图，帮助理解
如下是一段运用Scrapy创建的spider：使用了内置的crawl模板，以利用Scrapy库的CrawlSpider。相对于简单的爬取爬虫来说，Scrapy的CrawlSpider拥有一些网络爬取时可用的特殊属性和方法：
$ scrapy genspider country_or_district example.python-scrapying.com--template=crawl
运行genspider命令后，下面的代码将会在example/spiders/country_or_district.py中自动生成。
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from example.items import CountryOrDistrictItem
class CountryOrDistrictSpider(CrawlSpider):
name = 'country_or_district'
allowed_domains = ['example.python-scraping.com']
start_urls = ['http://example.python-scraping.com/']
rules = (
Rule(LinkExtractor(allow=r'/index/', deny=r'/user/'),
follow=True),
Rule(LinkExtractor(allow=r'/view/', deny=r'/user/'),
callback='parse_item'),
)
def parse_item(self, response):
item = CountryOrDistrictItem()
name_css = 'tr#places_country_or_district__row td.w2p_fw::text'
item['name'] = response.css(name_css).extract()
pop_xpath = '//tr[@id="places_population__row"]/td[@class="w2p_fw"]/text()'
item['population'] = response.xpath(pop_xpath).extract()
return item
爬虫类包括的属性：
- name: 识别爬虫的字符串。
- allowed_domains: 可以爬取的域名列表。如果没有设置该属性，则表示可以爬取任何域名。
- start_urls: 爬虫起始URL列表。
- rules: 该属性为一个通过正则表达式定义的Rule对象元组，用于告知爬虫需要跟踪哪些链接以及哪些链接包含抓取的有用内容。
以上就是python Scrapy框架原理解析的详细内容，更多关于Scrapy框架原理的资料请关注小牛知识库其它相关文章！
-
本文向大家介绍Spring AspectJ AOP框架注解原理解析，包括了Spring AspectJ AOP框架注解原理解析的使用技巧和注意事项，需要的朋友参考一下 什么是AspectJ AspectJ是一个面向切面的框架，它扩展了Java语言。AspectJ定义了AOP语法所以它有一个专门的编译器用来生成遵守Java字节编码规范的Class文件。 AspectJ是一个基于Java语言的AOP框
-
本文向大家介绍python web框架 django wsgi原理解析，包括了python web框架 django wsgi原理解析的使用技巧和注意事项，需要的朋友参考一下 前言 django wsgi python有个自带的wsgi模块 可以写自定义web框架 用wsgi在内部创建socket对象就可以了 自己只写处理函数就可以了 django只是web框架 他也不负责写socket djan
-
本文向大家介绍详解ssh框架原理及流程，包括了详解ssh框架原理及流程的使用技巧和注意事项，需要的朋友参考一下 什么是SSH SSH是 struts+spring+hibernate的一个集成框架，是目前较流行的一种web应用程序开源框架。SSH不是一个框架，而是把多个框架（Struts、Spring以及Hibernate）紧密的结合在一起，用于构建灵活、易于扩展的多层Web应用程序。 SSH框架
-
本文向大家介绍thinkphp5框架路由原理与用法详解，包括了thinkphp5框架路由原理与用法详解的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了thinkphp5框架路由原理与用法。分享给大家供大家参考，具体如下： 路由理解 概括的说：路由就是网络请求的url与thinkphp应用层的逻辑处理地址的对应关系。 通俗的说：路由就是把url的请求优雅的对应到你想要执行的操作方法。 路由其
-
本文向大家介绍Mybatis框架及原理实例分析，包括了Mybatis框架及原理实例分析的使用技巧和注意事项，需要的朋友参考一下 摘要 本篇文章只是个人阅读mybatis源码总结的经验或者个人理解mybatis的基本轮廓，作为抛砖引玉的功能，希望对你有帮助，如果需要深入了解细节还需亲自去阅读源码。 mybatis基本架构 mybatis的源码应该算是比较容易阅读的，首先mybatis核心功能就是执行
-
原型和框架工具 创建原型和框架: Balsamiq Mockups [$] Justinmind [$] UXPin [free to $] 合作/展示: InVision [free to $] myBalsamiq [$] conceptboard [free to $]
-
问题内容： 我正在阅读JSF，我感到非常困惑，为什么JSF是MVC框架（或者至少哪些部分属于哪个“字母”）。 我看了这个问题：JSF MVC框架中的MVC是什么组件？ 我在这里读过，如果您不以汇总视图查看它，则模型是您的实体，视图是您的XHTML代码，控制器是托管bean。嗯…好，但是视图不是经常依赖于执行进一步的业务逻辑调用（例如返回一组实体），描述是否仍然合适？ 我读过的一本书将其描述为托管b
-
本文向大家介绍详解Python 定时框架 Apscheduler原理及安装过程，包括了详解Python 定时框架 Apscheduler原理及安装过程的使用技巧和注意事项，需要的朋友参考一下 在我们的日常工作自动化测试当中，几乎超过一半的功能都需要利用定时的任务来推动触发，例如在我们项目中有一个定时监控模块，根据自己设置的频率定时跑测试用例，定时检测是否存在线上紧急任务等等，这些都涉及到了有关定时