NCrawler是一款国外的开源网络爬虫软件,遵循LGPL许可协议。其HTML处理使用的是htmlagilitypack开源库,采用xpath的方式处理定位网页元素,十分方便。同时其采用HttpWebRequest异步的方式获取网页,采集效率较高。台湾微软MSDN有一篇如何使用NCrawler参考文章。
NCrawler是一款国外的开源网络爬虫软件,遵循LGPL许可协议。其HTML处理使用的是htmlagilitypack开源库,采用xpath的方式处理定位网页元素,十分方便。同时其采用HttpWebRequest异步的方式获取网页,采集效率较高。台湾微软MSDN有一篇如何使用NCrawler参考文章。
转载于:https://www.cnblogs.com/mmbbflyer/p/4363055.html