当前位置: 首页 > 工具软件 > Sphider > 使用案例 >

Sphider爬虫汉化

长孙阳嘉
2023-12-01

      想学习数据库已经很久了,想的同时我也在学习,但是没有实际的数据辅助,所以一直没有动力。2009年的11月30,正在网上瞎逛,想想这么多的网页和网址,我要是把这些数据提取出来,并加以分析,不是就有学习的资料了吗。说干就干,开始,上网搜了开源的搜索引擎,找了很久,网上介绍有很多,baidu,google一下很多的,这里就不介绍了。

      最后选了个php搜索引擎-Sphider,spider蜘蛛爬虫,spider在互联网爬来爬去搜集信息,并自己进行处理。

      Sphider是英文版的,索引纯英文网站没有问题,但是我要索引的网站大多是中文网站,所以学习Sphider的第一步就是汉化-1.页面汉化,2-php中文支持mysql字符集编码。Google,百度了半天,界面汉化基本搞定。在php,mysql的utf-8字符集编码方面花费了我很多的时间。

其实就修改三处:

1.php.ini PHP配置文件

default_charset = "UTF-8",将缺省的字符集编码设置为"UTF-8".

2.mysql连接设置

mysql_query("set names 'utf8'");//database.php

3.修改spider.php中$file的编码方式

$file=mb_convert_encoding($file,"UTF-8","gbk,gb2312,UTF-8");

 

一切解决,不过搜索的时候存在字符集编码的问题,暂时用session解决了。索引了快两天网页了,数据库的数据马上达到2个G,一个月后我的数据应该能到30G。马上就可以深入学习mysql了,表设计,集群,查询语句,优化,内置函数,性能调优,存储过程,想着就兴奋。

 类似资料: