ScrapingSpider 是一个业余时间开发的，支持多线程，支持关键字过滤，支持正文内容智能识别的爬虫。
爬虫的核心实现在ScrapingSpider.Core程序集中。爬虫类为Spider类，爬虫的爬取逻辑，与页面处理逻辑通过事件分离，两个关键事件为AddUrlEvent和DataReceivedEvent。
示例代码：
// 构造爬虫，需要3个参数：爬虫设置，实现了ILogger的日志记录器，上次未执行完的爬取链接
Spider spider = new Spider(new Settings(), new EmptyLogger(), null);
spider.AddUrlEvent += addUrlArgs =>
{
// Url即将添加到队列的事件处理
};
spider.DataReceivedEvent += receivedArgs =>
{
// 页面已经被抓取下来的事件，可在此处理页面，例如页面保存添加到数据库
};
// 开始爬取
spider.Crawl();
ScrapingSpider示例代码
-
具体的使用方法请参考ScrapingSpider项目的Program.cs类中的示例代码。
-
示例代码使用SqlServer数据库存储爬取信息，表结构与WebPage类对应，数据库连接字符串请参考App.config。
-
采用log4net作为日志记录组件。
Settings说明
-
Init Seeds: 初始Url地址，多个地址使用回车分开。
-
Regex Filter: 通过正则表达式过滤Url，多个正则使用回车隔开。
-
Keyword: 关键字，按照指定的关键字爬取，多个关键字使用回车分开。
-
Crawl Depth: 爬取深度，小于0表示不限
-
Escape Links: 要过滤的链接，如：.jpg|.rar|.exe
-
Keep Cookie: 抓取过程中是否保留Cookie
-
Lock Host: 是否锁定Host，锁定后，指抓取站点相关链接。
-
Limit Speed: 是否智能限速。
-
Threads: 线程数量，启用多个线程有利于提高爬取效率。
-
Timeout: 超时时间，以毫秒为单位。
-
User Agent: http协议UserAgent设置。
-
主要内容：导入所需模块,拼接URL地址,向URL发送请求,保存为本地文件,函数式编程修改程序本节讲解第一个 Python 爬虫实战案例：抓取您想要的网页，并将其保存至本地计算机。 首先我们对要编写的爬虫程序进行简单地分析，该程序可分为以下三个部分： 拼接 url 地址 发送请求 将照片保存至本地 明确逻辑后，我们就可以正式编写爬虫程序了。 导入所需模块 本节内容使用 urllib 库来编写爬虫，下面导入程序所用模块： 拼接URL地址 定义 URL 变量，拼接 url 地址。代码如下所示：
-
本文向大家介绍基于C#实现网页爬虫，包括了基于C#实现网页爬虫的使用技巧和注意事项，需要的朋友参考一下 本文实例为大家分享了基于C#实现网页爬虫的详细代码，供大家参考，具体内容如下 HTTP请求工具类： 功能： 1、获取网页html 2、下载网络图片 多线程爬取网页代码： 截图： 以上就是本文的全部内容，希望对大家的学习有所帮助。
-
本文向大家介绍python爬虫爬取网页数据并解析数据，包括了python爬虫爬取网页数据并解析数据的使用技巧和注意事项，需要的朋友参考一下 1.网络爬虫的基本概念 网络爬虫（又称网络蜘蛛，机器人），就是模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 只要浏览器能够做的事情，原则上，爬虫都能够做到。 2.网络爬虫的功能 网络爬虫可以代替手工做很多事情，比如可以
-
本文向大家介绍Python制作简单的网页爬虫，包括了Python制作简单的网页爬虫的使用技巧和注意事项，需要的朋友参考一下 1.准备工作： 工欲善其事必先利其器，因此我们有必要在进行Coding前先配置一个适合我们自己的开发环境，我搭建的开发环境是： 操作系统：Ubuntu 14.04 LTS Python版本：2.7.6 代码编辑器：Sublime Text 3.0 这次的网络爬虫需求背景我打算
-
我正在尝试开发一个小的网络爬虫，它下载网页并搜索特定部分的链接。但当我运行这段代码时，“href”标记中的链接会变短。如： 原文链接：“/kids-toys-action-figures-accessories/b/ref=toys_hp_catblock_actnfig？ie=utf8&node=165993011&pf_rd_m=atvpdkikx0der&pf_rd_s=merchandis
-
本文向大家介绍python动态网页批量爬取，包括了python动态网页批量爬取的使用技巧和注意事项，需要的朋友参考一下 四六级成绩查询网站我所知道的有两个：学信网（http://www.chsi.com.cn/cet/）和99宿舍（http://cet.99sushe.com/），这两个网站采用的都是动态网页。我使用的是学信网，好了，网站截图如下： 网站的代码