使用JSoup从所有页面获取结果

Question

我正在使用jsoup库，今天我遇到了一个问题。我必须刮取DuckDuckGo并为每个页面获取查询结果的所有标题，但使用

Document doc = Jsoup.connect("https://duckduckgo.com/html/?q=" + query).get();

我只得到关于第一页的结果。我怎样才能继续下一页？

Answer 1

您需要从每个页面中提取表单参数，以获取下一页面的请求参数。这是如何：

   public static Map<String, String> getFormParams(final Document doc) {
        return doc.select("div.nav-link > form")
                .first()
                .select("input")
                .stream()
                .filter((input) -> {
                    return input.attr("name") != null && !input.attr("name").equals("");
                })
                .collect(Collectors.toMap(input -> input.attr("name"), input -> input.attr("value")));
    }

    public static void main(final String... args) throws IOException {
        final String baseURL = "https://duckduckgo.com/html";
        final Connection conn = Jsoup.connect(baseURL)
                .userAgent("Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19");
        conn.data("q", "search phrase"); // Change "search phrase"

        // 1st page
        final Document page1 = conn.get();

        final Map<String, String> formParams
                = getFormParams(page1);

        // 2nd page
        final Document page2 = conn.data(formParams).get();
    }