当前位置: 首页 > 软件库 > 应用工具 > 网络爬虫 >

wyps

在线采集系统
授权协议 Apache
开发语言 Java
所属分类 应用工具、 网络爬虫
软件类型 开源软件
地区 国产
投 递 者 简意
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

wyps 是一个采用Java编写的一个在线采集系统,通过jsoup解析html网页,,只要会写jQuery语法就可以轻松采集任意网页的内容。并且使用selenium自动化测试工具解析动态网站或者需要登录的网站,使用chrome浏览器模拟人工抓起网页。

软件已经做成exe:https://pan.baidu.com/s/1gfC9YON

 相关资料
  • 采集流程: 采集一般可以分为3个过程:1.设置采集规则;2.采集数据内容;3.导出内容,这3个内容是可以独立分开来的。 设置采集规则:这个就是在操作中的添加采集节点,并对这个节点规则进行设置,比如:设置采集内容列表的地址、指定采集标题或者内容的位置(规则)、设置采集内容过滤规则。这个规则是采集最根本最基础的东西,采集规则可以导入导出,方便对这个采集规则进行分享。 采集数据内容:根据不同情况对数据采

  • 关于采集: 什么是采集呢?我们可以这样理解,我们打开一个网站,看到有一篇文章很不错,于是将文章的标题和内容复制,然后将这篇文章转到我们的网站上,这个过程就可以称作采集,将别人网站上对自己有用的信息转到自己网站上。 采集器也是这样,不过整个过程是由电脑来完成的,我们复制人家的标题和内容,是在知道什么地方是内容,什么地方是标题前提下进行操作的,但电脑是不知道的,所以我们要告诉电脑怎么识别怎么采,这就是

  • 蓝天采集器(SkyCaiji),网页爬虫系统,采用 PHP+Mysql 开发,可部署在云端服务器和虚拟主机中,使用浏览器即可采集数据。软件免费无限制使用,规则和插件可自定义开发。

  • 本系统采用主流编程语言php和mysql数据库,您可以通过自定义采集规则,或者到我的网站下载共享的规则,针对网站或者网站群,采集您所需的数据,您也可以向所有人共享您的采集规则哦。通过数据浏览和编辑器,编辑您所采集的数据。 本系统所有代码完全开源,并附有中文注释。

  • 采集(Ingest)指的是将文件(flv,mp4,mkv,avi,rmvb等等),流(RTMP,RTMPT,RTMPS,RTSP,HTTP,HLS等等),设备等的数据,转封装为RTMP流(若编码不是h264/aac则需要转码),推送到SRS。 采集基本上就是使用FFMPEG作为编码器,或者转封装器,将外部流主动抓取到SRS。 采集的部署实例参考:Ingest 应用场景 采集的主要应用场景包括: 虚