当前位置: 首页 > 文档资料 > Pyspider 中文文档 >

@catch_status_code_error

优质
小牛编辑
132浏览
2023-12-01

非200响应将被视为提取失败,不会传递给回调。使用此装饰器覆盖此功能。

def on_start(self):
    self.crawl('http://httpbin.org/status/404', self.callback)

@catch_status_code_error  
def callback(self, response):
    ...

将callback作为请求失败(具有状态码404)将不被执行。使用@catch_status_code_errordecorater,callback即使请求失败也会执行。

最后更新:

类似资料

  • PySipder 是一个 Python 爬虫程序 演示地址:http://demo.pyspider.org/ 使用 Python 编写脚本,提供强大的 API Python 2&3 强大的 WebUI 和脚本编辑器、任务监控和项目管理和结果查看 支持 JavaScript 页面 后端系统支持:MySQL, MongoDB, SQLite, Postgresql 支持任务优先级、重试、定期抓取等

  • 去学习采集的最好的方法就是制造它 一年级: HTML and CSS Selector 二年级: AJAX and More HTTP 三年级: Render with PhantomJS

  • 一个强大的python爬虫(Web Crawler) .尝试它! 用python写脚本 强大的网页脚本编辑界面,任务监控器,项目管理器和结构查看器 MySQL, MongoDB, Redis, SQLite, Elasticsearch各种数据库引擎; PostgreSQL数据库系统 和 SQLAlchemy数据库ORM模型 作为数据库的支持 RabbitMQ, Beanstalk, Redis

  • 一个强大的 python 爬虫 (Web Crawler) .尝试它,用 python 写脚本,强大的网页脚本编辑界面,任务监控器,项目管理器和结构查看器。

相关阅读

开发工具

PySpider