当前位置: 首页 > 软件库 > 应用工具 > 网络爬虫 >

丑牛迷你采集器

授权协议 GPL
开发语言 Java
所属分类 应用工具、 网络爬虫
软件类型 开源软件
地区 国产
投 递 者 乐欣可
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件,通过灵活的配置,可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息,可编辑筛选处理后选择发布到网站

架构说明
系统是基于 Swing+Spring-3.2.4+Mybatis-3.1.1+C3p0-0.9.1.2+Sqlite等技术实现的。
采用插件式开发模式,各大功能模块均可独出来,功能与系统UI对立,可配置性较强。

功能概述
1:系统登录界面:

    2:系统启动界面:

    3:系统主界面:

    (1)我的丑牛:系统信息,插件信息,内存监控,以及任务监控。

    (2)采集配置:采集相关的基础配置,包括远程数据库配置,FTP配置,自定义数据配置

    (2)数据采集:对采集过程统一管理,包括采集公共参数设置,采集规则列表,采集历史列表,采集内容列表

    (3)任务监控:包括采集任务监控,入库任务监控,上传任务监控

    (4)定时任务:定时执行采集任务

    (5)实用工具:包括图片处理

  • 架构说明 系统是基于 Swing+Spring-3.1.1+Mybatis-3.1.1+C3p0-0.9.1.2+Sqlite等技术实现的。 采用插件式开发模式,各大功能模块均可独出来,功能与系统UI对立,可配置性较强。 三:功能概述 1:我的丑牛:系统信息及插件信息。 2:系统配置:系统配置主要是整个系统相关的一些基础信息的配置。 数据参数配置: 数据参数配置是为了在设置采集参数时可以选择相应的

 相关资料
  • GIT地址:http://git.oschina.net/javacoo/MyKbs 系统是基于 Swing+Spring-3.1.1+Mybatis-3.1.1+C3p0-0.9.1.2+Lucene4.3.1+Sqlite等技术实现的。 采用插件式开发模式,各大功能模块均可独出来,功能与系统UI对立,可配置性较强。 功能概述 1:我的丑牛:系统参数设置及插件信息。   2:知识搜索:知识搜索分

  • 迷你任务(MiniTES)汉化版是一款网页放置游戏,运行于 web 浏览器。 攻略 此攻略仅原版剧情、非常简单; 升级有助于顺利展开剧情,挂机即可; 一些道具需要移动主角到地图各点: 银汐滇池:塞尔拉克 传说。 麦德拉斯:鹤立澳湾 传说。 亜达新村:瑞代尔堡 传说。 黑曜草原:鄂尔科特 传说。 死亡泽塔:奎姆森宫 传说。 天景豪苑:法林深坑 传说。 巴雷斯特:火云雾海 传说。 三角洲头:西鲁瓦恩

  • 采集流程: 采集一般可以分为3个过程:1.设置采集规则;2.采集数据内容;3.导出内容,这3个内容是可以独立分开来的。 设置采集规则:这个就是在操作中的添加采集节点,并对这个节点规则进行设置,比如:设置采集内容列表的地址、指定采集标题或者内容的位置(规则)、设置采集内容过滤规则。这个规则是采集最根本最基础的东西,采集规则可以导入导出,方便对这个采集规则进行分享。 采集数据内容:根据不同情况对数据采

  • 关于采集: 什么是采集呢?我们可以这样理解,我们打开一个网站,看到有一篇文章很不错,于是将文章的标题和内容复制,然后将这篇文章转到我们的网站上,这个过程就可以称作采集,将别人网站上对自己有用的信息转到自己网站上。 采集器也是这样,不过整个过程是由电脑来完成的,我们复制人家的标题和内容,是在知道什么地方是内容,什么地方是标题前提下进行操作的,但电脑是不知道的,所以我们要告诉电脑怎么识别怎么采,这就是

  • 采集(Ingest)指的是将文件(flv,mp4,mkv,avi,rmvb等等),流(RTMP,RTMPT,RTMPS,RTSP,HTTP,HLS等等),设备等的数据,转封装为RTMP流(若编码不是h264/aac则需要转码),推送到SRS。 采集基本上就是使用FFMPEG作为编码器,或者转封装器,将外部流主动抓取到SRS。 采集的部署实例参考:Ingest 应用场景 采集的主要应用场景包括: 虚