当前位置: 首页 > 知识库问答 >
问题:

如何使用硒找到网站上所有链接的目录?

时宾实
2023-03-14

我试图找到断开的链接通过使用

driver.findElements(By.tagName("a"));

但是问题是它只找到存在于主页上的链接。有没有办法找到网页上所有可用链接的目录?

共有1个答案

丰誉
2023-03-14

列出所有的链接

driver.findElements(By.tagName("a"));

然后在新的浏览器窗口或同一窗口上加载每个url,并递归地执行此操作。继续添加新链接,并仅在列表中添加新链接。

如果您有其他选择,最好使用Java/Perl完成此任务。

 类似资料:
  • 我有这个代码: 如何将此列表(所有li)添加到列表

  • 问题内容: 是否可以使用selenium浏览给定URL(网站)的所有URI ? 我的目标是使用具有给定选择的URL的硒来启动firefox浏览器(由于此网站,我知道该怎么做),然后让firefox浏览URL(该网站)拥有的所有页面。我感谢有关如何在Python中进行操作的任何提示/帮助。 问题答案: 您可以在类中使用递归方法,例如下面给出的方法。 希望这对您有所帮助。

  • 问题内容: 我正在用Python练习Selenium,我想使用Selenium获取网页上的所有链接。 例如,我想要http://psychoticelites.com/上所有标签的属性中的所有链接。 我写了一个脚本,它正在工作。但是,它给了我对象地址。我尝试使用标签来获取值,但是,它不起作用。 我当前的脚本: 问题答案: 好吧,您只需要遍历列表即可: 返回元素列表(注意“ elements”的拼写

  • 我正在实现一个网络爬虫,我正在使用Crawler4j库。我不是得到一个网站上的所有链接。我试图使用Crawler4j提取一个页面上的所有链接,但遗漏了一些链接。 这是页面上的URL列表,这是Crawler4J给出的URL列表。 我查看了crawler4j使用的'HTMLContentHandler.java'文件来提取链接。在此,仅提取与“src”和“href”链接相关联的链接。 我发现这些文件的

  • 我有一个自动化项目使用Selenium,它将调用ChromeWebDriver并运行testcase 但Chromedriver不能在聚合物框架构建的网站上显示元素, 我们可以通过检查F12查看元素。但chromedriver找不到元素。 这里是网站的urlhttps://shop.polymer-project.org/我们不能使用ChomeDriver来查找元素内部节点“影子根”。此处代码:

  • 我被困在上一周,我无法上传即时应用apk。我发现“您的网站'sptechinfo.000webhostapp.com'尚未通过数字资产链接协议链接到您的应用。请通过数字资产链接协议将您的网站链接到您的应用” 我已经添加了assetlink.jsonAssetLink.json但仍然在Playstore上获得相同的错误。 我从这里验证了链接https://digitalassetlinks.goog