当前位置: 首页 > 软件库 > 应用工具 > 网络爬虫 >

Jedi-Crawler

Node/PhantomJS爬虫
授权协议 MIT
开发语言 JavaScript
所属分类 应用工具、 网络爬虫
软件类型 开源软件
地区 不详
投 递 者 皇甫鸿远
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

Jedi-Crawler 是一款轻量级 Node/PhantomJS爬虫,可以动态的抓取网页内容。

安装:

npm install jedi-crawler

示例代码:

var jedi = require('./modules/jedi.js'),
fs = require('fs');


/// REGISTER ALL THE PADAWANS

var PADAWANS_DIR = "./padawans/";

fs.readdirSync(PADAWANS_DIR).forEach(function(padawan){
  require(PADAWANS_DIR + padawan)(jedi);
});

jedi.crawl('http://en.wikipedia.org/wiki/Montpellier,_France', function(err, data){
  console.log(data);
});
 相关资料
  • Jedi 是一个可以在 IDEs 或者编辑器中使用的 Python 代码自动补齐和静态分析工具。它的历史重点是自动完成,但现在也进行静态分析。 Jedi 好用并且快速。 它比 Python 的所有其他静态分析框架更深入地理解 Python。 Jedi 支持两种不同的 goto 函数。 可以搜索相关的名称并列出 Python 文件中的所有名称并推断它们。 Jedi 理解 docstrings,你也可

  • Jedi 是百姓网公司的开源软件,是 JavaScript 的模板语言。

  • 本文向大家介绍基于selenium-java封装chrome、firefox、phantomjs实现爬虫,包括了基于selenium-java封装chrome、firefox、phantomjs实现爬虫的使用技巧和注意事项,需要的朋友参考一下 2017年一直以来在公司负责爬虫项目相关工程,主要业务有预定、库存、在开发中也遇到很多问题,随手记录一下,后续会持续更新。 chrome、firefox、p

  • 概述 REPL环境 webpage模块 open() evaluate() includeJs() render() viewportSize,zoomFactor onResourceRequested onResourceReceived system模块 应用 过滤资源 截图 抓取图片 生成网页 参考链接 概述 有时,我们需要浏览器处理网页,但并不需要浏览,比如生成网页的截图、抓取网页数据等

  • Phantom JS是一个服务器端的 JavaScript API 的 WebKit。其支持各种Web标准: DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG 使用场景: 无需浏览器的 Web 测试 页面访问自动化 屏幕捕获   网络监控 屏幕捕获示例代码: var page = require('webpage').create();page.open('http://g

  • 问题内容: 我很难让超链接在JEditorPane中工作。有人可以告诉我我在做什么错吗?我希望能够单击链接和浏览器打开该页面。提前致谢。:D 问题答案: 哇,那虽然比我还简单:P 哦,等到用户单击链接之后再打开浏览器,在我杀了你之前,大约有4个窗口在运行;) 点击更新 你快到了;)