当前位置：首页 > 软件库 > 应用工具 > 网络爬虫 >

Spidr

授权协议未知

开发语言 Ruby

所属分类应用工具、网络爬虫

软件类型开源软件

地区不详

投递者缪远航

操作系统未知

开源组织无

适用人群未知

软件概览

Spidr 是一个Ruby 的网页爬虫库，可以将整个网站、多个网站、某个链接完全抓取到本地。

安装方法：sudo gem install spidr

代码示例：

Spidr.start_at('http://tenderlovemaking.com/')
Spidr.site('http://rubyinside.org/') do |spider|
  spider.every_url { |url| puts url }
end

使用案例

ruby 爬虫 Spidr 用法

Spidr 是一个Ruby 的网页爬虫库，可以将整个网站、多个网站、某个链接完全抓取到本地。安装方法：sudo gem install spidr 从一个网址开始爬 Spidr.start_at('http://tenderlovemaking.com/') 爬一个host: Spidr.host('coderrr.wordpress.com') 爬一个网站： Spidr.site('http: