OpenWebSpider是一个开源多线程Web Spider(robot:机器人,crawler:爬虫)和包含许多有趣功能的搜索引擎。
OpenWebSpider 是一个很好用的网络爬虫,也可以叫做“网络蜘蛛”. 安装: 1.使用Vs.net 2003 编译, 记得要copy libmysql.dll到工程里 2.配置文件openwebspider.conf 将已经启动了的 mysql数据库用户名,密码填写好 3.数据库建立 执行 sql_struct.txt 下的文件目录。OK Go ahead , grabble your w
1 OpenWebSpider 安装,放到apache目录里,导入sql语句建表,用了两个db,然后建个vhost ,hosts加上127.0.0.1 openwebspider.local 2.抓取baidu等网站信息 OpenWebSpiderCS.exe -i www.music.baidu.com --images --mp3 3 .访问http://openwebspider.loca