当前位置: 首页 > 工具软件 > WebMagic > 使用案例 >

webmagic使用疑问

晏修诚
2023-12-01
1.使用webmagic的时候ip被禁止了怎么办?
  建议:使用百度代理(免费)或其他收费代理
2.由于网络原因导致time out怎么办?
  建议:使用异常捕获和递归去调用
3.webmagic 规则如何配置成可以抓取js值呢?
  建议:.xpath("//body/scrpit[1]"),代表body下第1个script
4.如何获取页面元素?
  建议:.xpath("//[@class='link_title']/a/text()").toString()获取类属性为link_title下的a标签的text()
5.域名和网址是否相同?
  建议:不同,域名不带http,带http的是网址
 类似资料: