当前位置: 首页 > 知识库问答 >
问题:

HTML中的信息存储在哪里?(卷筒纸刮削)

年凯康
2023-03-14

初学者。我想提取巴克莱的所有作业(https://search.jobs.Barclays/search-jobs)

我通过刮了第一页,但挣扎着去下一页,因为url没有改变。我试着在下一页按钮上刮url,但那个href把我带回主页。

这是否意味着所有的职务数据实际上都存储在原始HTML中?如果是,我该如何提取?

谢谢!

共有1个答案

濮阳茂材
2023-03-14

所以我分析了网站,它使用一个API与服务器通信,所以您可以直接从它获取数据,作为一个JSON文件。

这是此特定情况下的API链接(对于我的计算机):https://search.jobs.barclays/search-jobs/results?

对于您来说,url可能不同,但概念是相同的:如您所见,url内部有一个'CurrentPage=2',您可以使用它来获取任何使用请求的页面,然后从JSON中提取您需要的内容。

 类似资料:
  • 嗨,我终于能够设置我的webscraper,并将数据导入到我的网页中:) 但是我的网页在端口3001上运行,而网页刮刀在端口8080上运行,我有点困惑,我怎么能设置一个计时器来更新后台的刮刀? Scraper.js 弗雷德里克

  • 我在下面提供了一些示例,但是我需要清除大部分可用的数据元素,所以不是寻找复制和粘贴的代码,而是寻找最好的方法。见下文。 链接:https://boardgamegeek.com/boardgame/63888/innovation 我试图从中提取的HTML示例。Span没有返回html_nodes,所以我无法从那里开始。 我假设这是JSON?有没有一种方法来解析html_text输出,或者另一种方

  • Spring Web应用程序只是一个使用servlet API 3.0的普通Web应用程序。 在servlet API 3.0中web.xml文件是可选的(大多数时候)。我试图在我的Spring应用程序中不包含web.xml,但不知何故,即使使用Servlet 3.0,它似乎也是必需的 Spring应用程序和我在没有编写web.xml文件的情况下成功运行的Web应用程序之间的唯一区别是,在Spri

  • 我所说的集群信息指的是这样的信息 < li >订阅的消费者/消费者群体 < li >读取和提交的偏移量 < li >分区的领导者和追随者 < li >关于服务器等的主题。 zookeeper是将这些信息保存在自己的数据库中(尽管我之前从未听说zookeepher有自己的数据库),还是将这些信息存储在Kafka集群中的一些主题等? 编辑:以及后续问题:动物园管理员如何从__consumer_offs

  • 问题内容: Oracle数据库中存储的已加载Java类的Java字节码在哪里?具体来说,是否有一个视图或表可用于获取Oracle中Java类模式对象的原始字节? 问题答案: 如果使用CREATE JAVA SOURCE命令将Java Source加载到Oracle数据库中,则可以转到数据字典视图USER_SOURCE并找到您的Java Source。 如果需要显示它或其他内容,可以签出DBMS_J

  • 我是身份验证方面的新手。我有一个应用程序,登录后,向服务器发送凭据,服务器生成令牌并将其发送回客户端(移动设备)。 这是我的问题:在可用后,我应该在哪里存储即将到来的请求的信息?例如,如果我想发送请求,我有两种方法: < li >在请求的< code>body上存储所需的信息 < li >使用< code>Base64中的< code>JSON格式对信息进行编码后,将其存储在< code>JWT的