c语言版网络爬虫spiderq
最近不知吃了什么药，对网络爬虫非常有兴趣，记得以前想过写个爬虫把自己百度博客的帖子都抓下来备份，现在正是时机了。代码是（用了近两周晚上加周末时间）在linux环境下用c/c++语言写的，已经发布到github上了。结构还算清晰，使用了多线程、高级多路IO复用、socket网络编程等技术和一些哈希算法，爬取性能还是不错的。目前还在不断地进行细节优化（目前是1.0版本）。
有此方面兴趣的同学们可以下载下来看看，也希望看过代码的人可以相互切磋交流，甚至加入到开发中（可以联系我）。
Github：https://github.com/qteqpid/spiderq
c语言版网络爬虫spiderq
屠杰
转载于:https://www.cnblogs.com/lexus/archive/2013/02/28/2937141.html
类似资料：