Java 解析 JS 生成的 html 元素

Question

我对Java的html解析非常陌生，我以前使用JSoup来解析简单的html，而不需要动态改变它，但是现在我需要解析一个包含动态元素的网页。这是我之前试图解析网页的代码，但无法找到元素，因为它们是在页面加载后添加的。问题是，如果一个页面使用了带有标记的谷歌地图，我会尝试刮去这些标记的图像。

    public static void main(String[] args) {
try {
    doc = Jsoup.connect("https://pokevision.com")
            .userAgent(
                    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36")
            .get();
} catch (IOException e) {
    e.printStackTrace();
}
Elements images = doc.select("img[src~=(?i)\\.(png|jpe?g|gif)]");

for (Element image : images) {
    System.out.println("src : " + image.attr("src"));
}

}

Answer 1

您面临的问题是，Jsoup检索静态源代码，因为它将被交付到浏览器。您需要的是调用javaScript后的DOM。为此，您可以使用HTMLUnit获取呈现的页面，然后将其内容传递给Jsoup进行解析。

// capture rendered page
WebClient webClient = new WebClient();
HtmlPage myPage = webClient.getPage("https://pokevision.com");

// convert to jsoup dom
Document doc = Jsoup.parse(myPage.asXml());

// extract data using jsoup selectors
Elements images = doc.select("img[src~=(?i)\\.(png|jpe?g|gif)]");
for (Element image : images) {
    System.out.println("src : " + image.attr("src"));
}

// clean up resources
webClient.close();