【Heritrix 02】Heritrix包介绍

package heritrix;

public class heritrixSourceAnalyzer01 {

    public static void main(String[] args) {
        System.out.println("Heritrix源码解读！");
    }

    /*
     * ----------------------------------【Heritrix包介绍】------------------------------------------
     *     先从Heritrix的包开始说起，然后再说类，最后讲下如何加工Heritrix，也就是将其打造成自己想要的爬虫，
     * heritrix版本:1.14.4. 
     * 
     * 序号     包名                                            说明
     *  1    org.apache.commons.httpclient              封装了apache的httpclient用于Fetch网页内容
     *  2    org.apache.commons.httpclient.cookie       封装了apache的httpclient用于Fetch网页内容,这里主要处理Cookie
     *  3    org.apache.commona.pool.impl               封装了apache的httpclient用于Fetch网页内容,主要是处理对象池的相关解决方案，就是一种对象一次创建多次使用
     *  4    org.archive.crawler                        Heritrix程序运行的入口包,如Heritrix运行可以直接抓取
     *  5    org.archive.crawler.admin                  Heritrix的管理包,比如CrawlJob表示一个抓取任务job,CrawlJobHandler管理JOB,以及日志统计等
     *  6    org.archive.crawler.admin.ui               服务于UI管理界面,如Job参数的设置
     *  7    org.archive.crawler.datamodel              Heritrix的数据模型包,如在Heritrix中代表一个URL的CandidateURI
     *  8    org.archive.crawler.datamodel.credential   管理Heritrix数据模型中的凭证,如抓取某些网站需要用户名和密码
     *  9    org.archive.crawler.deciderules            Heritrix的规则包,如决定哪些URL可以抓取可以调度
     *  10   org.archive.crawler.deciderules.recrawl    还待研究,应该是决定哪些URL需要重新抓取
     *  11   org.archive.crawler.event                  事件管理,如Heritrix的暂停、重启、停止等
     *  12   org.archive.crawler.extractor              Heritrix的造血器,通过它抽取新的URL再次进行抓取
     *  13   org.archive.crawler.fetcher                Heritrix的获取包,如获取HTTP、DNS、FTP数据
     *  14   org.archive.crawler.filter                 Heritrix的过滤器,如配合Rule过滤一些不要的URL
     *  15   org.archive.crawler.framework              Heritrix的框架包,存放一些核心类,一般是父类,如Heritrix控制类CrawlController;调度器类Frontier
     *  16   org.archive.crawler.framework.exceptions   Heritrix框架异常包,通常这里的异常抛出会导致Heritrix的停止
     *  17   org.archive.crawler.frontier               Heritrix的调度器,决定抓取哪个URL
     *  18   org.archive.crawler.io                     Heritrix的IO格式包,感觉取名不合理,这里只是定义一些格式,如统计数据的格式,错误日志的格式
     *  19   org.archive.crawler.postprocessor          辅助处理器包,感觉取名也不合理,这里只是对处理URL前后进行一些处理,如URL重定向
     *  20   org.archive.crawler.prefetch               Heritrix的预处理器包,如确定一个URL是否已经解析了DNS
     *  21   org.archive.crawler.processor              还没接触到,待研究（处理器）
     *  22   org.archive.crawler.processor.recrawl      还没接触到,待研究（处理器下的再次爬去）
     *  23   org.archive.crawler.scope                  Heritrix抓取范围管理,如种子
     *  24   org.archive.crawler.selftest               管理Heritrix的Web工程self.war
     *  25   org.archive.crawler.settings               管理Heritrix配置文件order.xml中的各项配置
     *  26   org.archive.crawler.settings.refinements   管理Heritrix自己对数据格式的标准,如时间格式
     *  27   org.archive.crawler.url                    还没怎么接触到,待研究
     *  28   org.archive.crawler.url.canonicalize       Heritrix的URL规范化,用于规范每一个URL
     *  29   org.archive.crawler.util                   Heritrix用于抓取的工具包,如BDB操作工具,IO操作工具
     *  30   org.archive.crawler.writer                 Heritrix的下载包,用于将抓取的URL内容写入硬盘
     *  31   org.archive.extractor                      heritrix用于解析网页，获取爬去到的链接的内容
     *  32   org.archive.httpclient                     Heritrix为结合httpclient量身打造的包,让自身更好的获取网页内容
     *  33   org.archive.io                             Heritrix的IO包,自己封装的一些IO操作类
     *  34   org.archive.io.arc                         针对arc格式的IO操作包
     *  35   org.archive.io.warc                        针对warc格式的IO操作包
     *  36   org.archive.net                            Heritrix扩展了java.net的包,主要扩展java.net.URI类
     *  37   org.archive.net.md5                        Heritrix对URL MD5加密包,所用不多,待研究
     *  38   org.archive.net.rsync                      还没接触到,待研究
     *  39   org.archive.net.s3                         还没接触到,待研究
     *  40   org.archive.queue                          还没接触到,待研究
     *  41   org.archive.uid                            Heritrix ID管理,主要针对URI
     *  42   org.archive.util                           整个Heritrix的工具类
     *  43   org.archive.util.anvl                      还没接触到,待研究
     *  44   org.archive.util.bdbje                     Heritrix对BDB的封装
     *  45   org.archive.util.fingerprint               还没接触到,待研究
     *  46   org.archive.util.iterator                  Heritrix自身封装的迭代器
     *  47   org.archive.util.ms                        还没接触到,待研究
     *  48   st.ata.util                                扩展的其他包,待研究  
     * */

}