使用java代码获取完整的网页

Question

我想实现一个java方法，它将URL作为输入，并将包括css、图像、js(所有相关资源)在内的整个网页存储在我的磁盘上。我已经使用Jsoup html解析器来获取html页面。现在，我想实现的唯一选项是使用jsoup获取页面，现在解析html内容，将相对路径转换为绝对路径，然后发出另一个获取javascript、图像等的请求。并将它们保存在磁盘上。我也读过html cleaner和htmlunit解析器，但我认为在所有这些情况下，我都必须解析html内容来获取图像、css和javascript文件。

我的想法是否正确，有什么建议吗？或者有什么简单的方法来完成这项任务？？

Answer 1

这个GitHub项目就是这样做的，使用的是jSoup。如果已经存在就不用再写了！

编辑：我制作了这个类的改进版本，并添加了新功能：

它可以:

>

从链接或内联CSS中提取URL，例如背景图像，并下载

它对所有文件（图像，脚本等）进行多线程下载。

提供有关进度和错误的详细信息。

可以获得嵌入在HTML文档中的HTML框架，以及嵌套框架。

一些注意事项：

> < li>

使用JSoup和OkHttp，因此您需要这些库。

GPL许可，至少目前是这样。

Answer 2

我在几年前遇到过类似的问题，我们使用了和你计划的完全一样的机制。解析html内容，将相对路径转换为绝对路径，我们还使用了多线程来同时运行和检索图像，java脚本等性能优化。我不知道它是否应该像我们所做的那样，但最终它对我们有用。:-)

Answer 3

基本上，你可以用J汤做到这一点：

 Document doc = Jsoup.connect("http://rabotalux.com.ua/vacancy/4f4f800c8bc1597dc6fc7aff").get();
         Elements links = doc.select("link");
         Elements scripts = doc.select("script");
        for (Element element : links) {
              System.out.println(element.absUrl("href"));
        }
        for (Element element : scripts) {
              System.out.println(element.absUrl("src"));
        }

等等图像和所有相关资源。

但是，如果你的站点使用 JavaScript 创建了一些元素，Jsoup 将跳过它，因为它无法执行 JavaScript