如何使用 jsoup 获取 href

Question

我有一些url。我想从url指向的html中获取所有href，从所有获取的hrefs中获取所有href（递归）。关键是我想设置“递归”的深度。例如，如果深度=1，我只需要来自超文本标记语言的href。如果深度=2，我需要来自超文本标记语言的hrefs（假设为list1）和来自list1的每个href的hrefs，依此类推

以下是我使用jsoup得到的结果:

import org.jsoup.*;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.IOException;
import java.io.PrintWriter;
import java.util.ArrayList;
import java.util.List;

public class Parser {
    private final static String FILE_PATH = "src/main/resources/href.txt";
    private List<String> result;

    private int currentDepth;
    private int maxDepth;

    public Parser(int maxDepth) {
        result = new ArrayList<String>();
        this.maxDepth = maxDepth;
    }

    public void parseURL(String url) throws IOException {
        url = url.toLowerCase();
        if (!result.contains(url)) {
            Connection connection = Jsoup.connect(url);
            Document document = connection.get();
            Elements links = document.select("a[href]");
            for (Element link : links) {
                String href = link.attr("href");
                result.add(href);
                parseURL(link.absUrl("href"));
                currentDepth++;
                if (currentDepth == maxDepth)
                    return;
            }
        }
    }
}

我应该如何修复递归条件以使其正确？

Answer 1

  public void parseURL(String url) throws IOException {
    url = url.toLowerCase();
    if (!result.contains(url)) {
        Connection connection = Jsoup.connect(url);
        Document document = connection.get();
        Elements links = document.getElementsByAttribute("href");
       // Elements links = document.select("a[href]");
        for (Element link : links) {
            String href = link.attr("href");
            result.add(href);
            parseURL(link.absUrl("href"));
            currentDepth++;
            if (currentDepth == maxDepth)
                return;
        }
    }
}

您可以在代码中尝试此操作，可以从方法获取具有指定属性的所有元素元素

Answer 2

我觉得在调用递归函数之前应该先检查深度。

if (currentDepth >= maxDepth){
    // do nothing
}else{
    parseURL(...)
}