webmagic 学习(1)-- 基础流程

多少次都告诫自己要努力写代码 ，开发出自己的东西， 之前一直在看着别人的网站抓取数据， 很是羡慕啊， 都不知道还有爬虫这一说， 一直以来都是使用ssh 的定时启动。 我并不会很表达 ，就是发现webmagic 真的是一个很牛逼的工具。 好了，现在开始我现在的爬虫实战。 

1. 基础安装教程 。 

请到官网查看：   http://webmagic.io/ 

2. 编写的注意流程。

要实现一个最基本的爬虫 ， 我环境搭建就花了一天搭建maven  。  其实很简单，就是实现PageProcessor  这个类的接口。

public class GithubRepoPageProcessor implements PageProcessor {

    // 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等
    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);

    @Override
    // process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑
    public void process(Page page) {
        // 部分二：定义如何抽取页面信息，并保存下来
        page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());
        page.putField("name", page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()").toString());
        if (page.getResultItems().get("name") == null) {
            //skip this page
            page.setSkip(true);
        }
        page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));

        // 部分三：从页面发现后续的url地址来抓取
        page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());
    }

    @Override
    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {

        Spider.create(new GithubRepoPageProcessor())
                //从"https://github.com/code4craft"开始抓
                .addUrl("https://github.com/code4craft")
                //开启5个线程抓取
                .thread(5)
                //启动爬虫
                .run();
    }
}

 @Override报错是jdk 编译器的问题， 如果碰到请选择 1.6的编译器。 1.5就会报错

 直接运行这个java类的话，会出现

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".

SLF4J: Defaulting to no-operation (NOP) logger implementation

SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

这个请直接 SLF4J 官网下载 SLF4J-nop.jar 或者maven里添加。

3.  仔细看完上面那个类之后， 控制台已经能很轻松抓取了。 我一直在理解 上面每一句代码的意思， 当然， 作为一个新手来说，这个有点太高端了。

在理解代码的路上我也走了很多的弯路， 完全不知道这个怎么回事， 

    正值表达式 的学习请查看