采集器设置
采集器设置
点击任务底部进度条的“采集器设置”进入规则编辑界面
- 输入采集规则名称和目标网站编码（可自动检测）
- 页面渲染可自动加载出ajax内容，适用于js脚本较多的页面
- 自动补全网址可以将网页中的相对地址（不包含域名的网址）转为绝对网址（包含域名）
- 网址不排重，默认会将采集过的内容页排重处理，不排重适用于更新频繁的动态页面
- 修改请求头信息以适应需要登录的、手机浏览的等界面
起始页网址
添加需要采集的目标列表页
点击“+”号可批量添加网址，勾选“设置为内容页网址”可直接采集输入的网址，否则作为列表页需要进行分析提取出内容页网址
内容页网址
编写提取内容页网址的规则，默认提取所有网址，如需精准可设置“提取网址规则”
多级网址获取：适用于小说、影视等连载形式的内容
只要内容页网址不是直接从起始页抓取的，都可以通过多级来获取
关联页网址获取：适用于数据分散在多个页面中
如需要抓取的字段不在内容页，而在其他页面中，则可以使用该功能将其他页面也作为内容源
获取内容
“添加默认”可以自动设置几个常见的字段，能满足大部分文章类型的站点采集
如果目标数据格式比较复杂，可点击“+”自行编写字段规则，支持正则表达式、xpath、json等多种匹配方式
“数据处理”可将采集到的字段值进行过滤或替换内容，每个字段都可单独处理或使用通用处理
如需抓取分页，点击开启“内容分页”并编写规则，程序会自动抓取每个分页中的字段内容
测试规则
采集器配置完成后需点击保存按钮，刷新后可在“内容页网址”选项卡和“获取内容”选项卡中看到测试按钮
测试列表页中抓取网址
测试页面中抓取数据
测试抓取分页
