NCrawler是一款国外的开源网络爬虫软件，遵循LGPL许可协议。其HTML处理使用的是htmlagilitypack开源库，采用xpath的方式处理定位网页元素，十分方便。同时其采用HttpWebRequest异步的方式获取网页，采集效率较高。台湾微软MSDN有一篇如何使用NCrawler参考文章。
网络采集库NCrawler
安毅
转载于:https://www.cnblogs.com/shanyou/archive/2012/07/31/2617485.html
类似资料：