基于nodejs 的多页面爬虫实例代码
前言
前端时间再回顾了一下node.js，于是顺势做了一个爬虫来加深自己对node的理解。
主要用的到是request，cheerio，async三个模块
request
用于请求地址和快速下载图片流。 https://github.com/request/request
cheerio
为服务器特别定制的，快速、灵活、实施的jQuery核心实现.
便于解析html代码。 https://www.npmjs.com/package/cheerio
async
异步调用，防止堵塞。 http://caolan.github.io/async/
核心思路
- 用request 发送一个请求。获取html代码，取得其中的img标签和a标签。
- 通过获取的a表情进行递归调用。不断获取img地址和a地址，继续递归
- 获取img地址通过request(photo).pipe(fs.createWriteStream(dir + “/” + filename));进行快速下载。
function requestall(url) {
request({
uri: url,
headers: setting.header
}, function (error, response, body) {
if (error) {
console.log(error);
} else {
console.log(response.statusCode);
if (!error && response.statusCode == 200) {
var $ = cheerio.load(body);
var photos = [];
$('img').each(function () {
// 判断地址是否存在
if ($(this).attr('src')) {
var src = $(this).attr('src');
var end = src.substr(-4, 4).toLowerCase();
if (end == '.jpg' || end == '.png' || end == '.jpeg') {
if (IsURL(src)) {
photos.push(src);
}
}
}
});
downloadImg(photos, dir, setting.download_v);
// 递归爬虫
$('a').each(function () {
var murl = $(this).attr('href');
if (IsURL(murl)) {
setTimeout(function () {
fetchre(murl);
}, timeout);
timeout += setting.ajax_timeout;
} else {
setTimeout(function () {
fetchre("http://www.ivsky.com/" + murl);
}, timeout);
timeout += setting.ajax_timeout;
}
})
}
}
});
}
防坑
1.在request通过图片地址下载时，绑定error事件防止爬虫异常的中断。
2.通过async的mapLimit限制并发。
3.加入请求报头，防止ip被屏蔽。
4.获取一些图片和超链接地址，可能是相对路径（待考虑解决是否有通过方法）。
function downloadImg(photos, dir, asyncNum) {
console.log("即将异步并发下载图片，当前并发数为:" + asyncNum);
async.mapLimit(photos, asyncNum, function (photo, callback) {
var filename = (new Date().getTime()) + photo.substr(-4, 4);
if (filename) {
console.log('正在下载' + photo);
// 默认
// fs.createWriteStream(dir + "/" + filename)
// 防止pipe错误
request(photo)
.on('error', function (err) {
console.log(err);
})
.pipe(fs.createWriteStream(dir + "/" + filename));
console.log('下载完成');
callback(null, filename);
}
}, function (err, result) {
if (err) {
console.log(err);
} else {
console.log(" all right ! ");
console.log(result);
}
})
}
测试：
可以感觉到速度还是比较快的。
完整地址。https://github.com/hua1995116/node-crawler/
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持小牛知识库。
-
本文向大家介绍基于C#实现网页爬虫，包括了基于C#实现网页爬虫的使用技巧和注意事项，需要的朋友参考一下 本文实例为大家分享了基于C#实现网页爬虫的详细代码，供大家参考，具体内容如下 HTTP请求工具类： 功能： 1、获取网页html 2、下载网络图片 多线程爬取网页代码： 截图： 以上就是本文的全部内容，希望对大家的学习有所帮助。
-
本文向大家介绍基python实现多线程网页爬虫，包括了基python实现多线程网页爬虫的使用技巧和注意事项，需要的朋友参考一下 一般来说，使用线程有两种模式, 一种是创建线程要执行的函数, 把这个函数传递进Thread对象里，让它来执行. 另一种是直接从Thread继承，创建一个新的class，把线程执行的代码放到这个新的class里。 实现多线程网页爬虫，采用了多线程和锁机制，实现了广度优先算法
-
主要内容：导入所需模块,拼接URL地址,向URL发送请求,保存为本地文件,函数式编程修改程序本节讲解第一个 Python 爬虫实战案例：抓取您想要的网页，并将其保存至本地计算机。 首先我们对要编写的爬虫程序进行简单地分析，该程序可分为以下三个部分： 拼接 url 地址 发送请求 将照片保存至本地 明确逻辑后，我们就可以正式编写爬虫程序了。 导入所需模块 本节内容使用 urllib 库来编写爬虫，下面导入程序所用模块： 拼接URL地址 定义 URL 变量，拼接 url 地址。代码如下所示：
-
EasySwoole利用redis队列+定时器+task进程实现的一个多进程爬虫。直接上代码 添加Redis配置信息 修改配置文件，添加Redis配置 "REDIS"=>array( "HOST"=>'', "PORT"=>6379, "AUTH"=>"" ) 封装Redis namespace AppUtilityDb; use ConfConfig; class Re
-
本文向大家介绍NodeJS爬虫实例之糗事百科，包括了NodeJS爬虫实例之糗事百科的使用技巧和注意事项，需要的朋友参考一下 1.前言分析 往常都是利用 Python/.NET 语言实现爬虫，然现在作为一名前端开发人员，自然需要熟练 NodeJS。下面利用 NodeJS 语言实现一个糗事百科的爬虫。另外，本文使用的部分代码是 es6 语法。 实现该爬虫所需要的依赖库如下。 request: 利用 g
-
本文向大家介绍PHP实现爬虫爬取图片代码实例，包括了PHP实现爬虫爬取图片代码实例的使用技巧和注意事项，需要的朋友参考一下 文字信息 我们尝试获取表的信息，这里，我们就用某校的课表来代替： 接下来我们就上代码： a.php 然后咱们就运行一下： 成功获取到课表； 图片获取 绝对链接 我们以百度图库的首页为例 b.php 然后，我们就获得了下面的页面： 相对链接 百度图库的图片的链接大部