当前位置: 首页 > 软件库 > 应用工具 > 网络爬虫 >

Blog-Hunter

基于 webMagic 的博客爬取工具
授权协议 MIT
开发语言 Java
所属分类 应用工具、 网络爬虫
软件类型 开源软件
地区 国产
投 递 者 常心水
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

Blog-Hunter(博客猎手),基于 webMagic 的博客爬取工具,支持慕课、csdn、iteye、cnblogs、掘金和 V2EX 等各大主流博客平台。

主要功能

  • 多个平台:该项目内置了慕课、csdn、iteye、cnblogs、掘金和 V2EX 六个主流的博客平台
  • 单篇抓取:只需指定一个文章连接,即可自动抓取文章内容
  • 列表抓取:只需简单的配置,就可快速抓取列表文章
  • 程序可控:可选择根据抓取的链接数或者程序运行的时间停止程序
  • 字符流输出:可配合前端,实现实时打印程序日志的功能
  • 多线程:支持多线程抓取,效率更高
  • using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using System.Threading; namespace ConsoleApplication5 { class Program { static void 

  • http://zone.wooyun.org/content/19049 from:https://github.com/zt2/sqli-hunter  封装了一个http代理跟sqlmap的api配合检测SQLi。  需要:  Ruby > 2.0.0  sqlmap 安装:  sqlmap  git clone https://github.com/sqlmapproject/sqlmap.

  • http://www.2cto.com/kf/201308/236512.html http://blog.csdn.net/catalyst1314/article/details/19008903 #include<cstdio> #include<cstring> #include<algorithm> #include<iostream> #include<cstdlib> #includ

 相关资料
  • 本文向大家介绍Java基于WebMagic爬取某豆瓣电影评论的实现,包括了Java基于WebMagic爬取某豆瓣电影评论的实现的使用技巧和注意事项,需要的朋友参考一下 目的 搭建爬虫平台,爬取某豆瓣电影的评论信息。 准备 webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬

  • Bootstrap为样式化Blog提供了一些不同的选项。 一些博客元素如评论框,博客文章,博客页脚等。

  • 在本章中,我们将研究如何在Drupal中Create Blogs 。 博客条目可以为网站成员公开或私有,具体取决于哪些角色有权查看内容。 以下是用于创建Drupal博客的简单步骤。 Step 1 - 单击Modules ,如以下屏幕所示。 Step 2 - 接下来,选中博客框以安装它。 启用“ Blog module ,然后单击“ Save configuration ,如以下屏幕所示。 Step

  • 本文向大家介绍Python爬虫爬取博客实现可视化过程解析,包括了Python爬虫爬取博客实现可视化过程解析的使用技巧和注意事项,需要的朋友参考一下 源码: 爬虫不是重点,只是拿来爬阅读数量,pyecharts是重点 这次爬的是我自己的博客,一共10页,每页10片文章,正好写了100篇博客 pyecharts安装: pip install wheelpip install pyecharts==0.

  • 本文向大家介绍如何使用python爬取csdn博客访问量,包括了如何使用python爬取csdn博客访问量的使用技巧和注意事项,需要的朋友参考一下 最近学习了python和爬虫,想写一个程序练练手,所以我就想到了大家都比较关心的自己的博客访问量,使用python来获取自己博客的访问量,这也是后边我将要进行的项目的一部分,后边我会对博客的访问量进行分析,以折线图和饼图等可视化的方式展示自己博客被访问

  • 本文向大家介绍详解Python爬虫爬取博客园问题列表所有的问题,包括了详解Python爬虫爬取博客园问题列表所有的问题的使用技巧和注意事项,需要的朋友参考一下 一.准备工作 首先,本文使用的技术为 python+requests+bs4,没有了解过可以先去了解一下。 我们的需求是将博客园问题列表中的所有问题的题目爬取下来。   二.分析: 首先博客园问题列表页面右键点击检查 通过Element查找