本项目 fork 项目go_spider，github：https://github.com/hu17889/go_spider ，因此项目架构的部分文档可以参考此项目。
同时项目架构、部分思路参考了 python 的经典爬虫scrapy。
基本结构：
Spider模块（主控） Downloader模块（下载器） PageProcesser模块（页面分析） History（Url采集历史记录） Scheduler模块（任务队列） Pipeline模块（结果输出）
主要Feature:
1. 基于Go语言的并发采集 2. 页面下载、分析、持久化模块化，可自定义扩展 3. 采集日志记录（Mongodb支持） 4. 页面数据自定义存储（Mysql、Mongodb） 5. 深度遍历，同时可自定义深度层次 6. Xpath解析
主要用于定向采集网站。
-
主要内容：认识爬虫,爬虫分类,爬虫应用,爬虫是一把双刃剑,为什么用Python做爬虫,编写爬虫的流程网络爬虫又称网络蜘蛛、网络机器人，它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页，并将所需要的数据抓取下来。通过对抓取的数据进行处理，从而提取出有价值的信息。 认识爬虫 我们所熟悉的一系列搜索引擎都是大型的网络爬虫，比如百度、搜狗、360浏览器、谷歌搜索等等。每个搜索引擎都拥有自己的爬虫程序，比如 360 浏览器的爬虫称作 360Spider，搜狗的爬虫叫做
-
案例：爬取百度新闻首页的新闻标题信息 url地址：http://news.baidu.com/ 具体实现步骤： 导入urlib库和re正则 使用urllib.request.Request()创建request请求对象 使用urllib.request.urlopen执行信息爬取,并返回Response对象 使用read()读取信息，使用decode()执行解码 使用re正则解析结果 遍历输出结果
-
5.1 网络爬虫概述: 网络爬虫(Web Spider)又称网络蜘蛛、网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 网络爬虫按照系统结构和实现技术，大致可分为一下集中类型： 通用网络爬虫：就是尽可能大的网络覆盖率，如 搜索引擎(百度、雅虎和谷歌等…)。 聚焦网络爬虫：有目标性，选择性地访问万维网来爬取信息。 增量式网络爬虫：只爬取新产生的或者已经更新的页面信息。特点：耗费
-
图片来源于网络 1. 爬虫的定义 网络爬虫（又称为网页蜘蛛，网络机器人，在 FOAF 社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。—— 百度百科定义 详细定义参照 慕课网注解： 爬虫其实是一种自动化信息采集程序或脚本，可以方便的帮助大家获得自己想要的特定信息。比如说，像百度，谷歌等搜索引擎
-
问题内容： 如何过滤来自网络抓取工具等的点击。不是人类的点击。 我使用maxmind.com从IP请求城市。.如果我必须支付所有点击数（包括网络抓取工具，机器人等）的话，这并不便宜。 问题答案： 有两种检测机器人的一般方法，我将它们称为“礼貌/被动”和“激进”。基本上，您必须使您的网站出现心理障碍。 有礼貌 这些是礼貌地告诉抓取工具他们不应该抓取您的网站并限制抓取频率的方法。可以通过robots.
-
本文向大家介绍利用C#实现网络爬虫，包括了利用C#实现网络爬虫的使用技巧和注意事项，需要的朋友参考一下 网络爬虫在信息检索与处理中有很大的作用，是收集网络信息的重要工具。 接下来就介绍一下爬虫的简单实现。 爬虫的工作流程如下 爬虫自指定的URL地址开始下载网络资源，直到该地址和所有子地址的指定资源都下载完毕为止。 下面开始逐步分析爬虫的实现。 1. 待下载集合与已下载集合 为了保存需要下载的URL