当前位置: 首页 > 工具软件 > JSpider > 使用案例 >

初探Jspider

百里芷阳
2023-12-01

  最近开始研究爬虫。决定先从Jspider着手。

  因为Jspider是开源的,而且感觉框架做得不错。

  第一步,down source http://j-spider.sourceforge.net/download/index.html

  有两个版本:一个是编译好的,还有一个是源代码版本。

  我比较贪心,决定从源代码开始玩。

  下下来以后,用eclipse打开,上来就编译不过。

  提示WorkerThread.getState()方法和父类Thread的方法返回值不一致。

   看了下代码,WorkerThread.getState 方法只有一个操作,返回WorkerThread的类成员变量值,和父类毛关系没有啊。

   又上网搜了下,建议也是把方法名改掉,于是把getState 给成getStateMod,编译通过。

 

   接着开始build,ant build.xml。报错JAVA_HOME没有指向JDK,找不到javac,现在指向的是.../jre/。

    一直不知道jre和jdk有什么区别,这下遇到了,原来只有jdk的bin里有javac阿。

    在eclipse的build path里找到 add Variable添加了JAVA_HOME变量,使其指向 C:/Program Files/Java/jdk1.6.0_17。

    再次build。还是把错,这次卡在junit上了,junit有failure。

    靠阿,junit有failure又不让过。。。debug模式跟进去,发现base64Encode的结果跟预想不一致,怎么办?俺没学过密码学。

    再看一下,貌似加密前的文字列中有一小段乱码,把程序的默认编码从UTF-8改成ISO-8859-1,过了。

 

   

 类似资料: