Jsoup无法获取带有嵌套标记的外部HTML

Question

在我使用Jsoup连接到Instagram页面后，我想从一个标记中提取整个外部html。不知怎的，当我检查页面并从标记中复制外部html时，我得到了大量的行，而我使用Jsoup只得到了很少的行（不知怎的，嵌套标记的html被忽略了）任何帮助都将感谢如何获得整个html！

代码：

Document doc = Jsoup.connect("https://www.instagram.com/myUsername").get();

Element link = doc.selectFirst("span");
String linkOuter = link.outerHtml();
System.out.println(linkOuter);

输出：

<span id="react-root">
  <svg width="50" height="50" viewbox="0 0 50 50" 
  style="position:absolute;top:50%;left:50%;margin:-25px 0 0 
  -25px;fill:#c7c7c7">
    <path d="M25 1c-6.52 0-7.34.03-9.9.14-2.55.12-4.3.53-5.82..." />
</svg></span>

编辑：我希望保存span标记的整个HTML（我希望HTMLUnit/JSOUP的结果与我右键单击标记时的结果相同，单击edit HTML，然后右键单击->复制外部HTML！

Answer 1

不幸的是，Instagram是一款用javascript框架React构建的Web应用。这意味着最终的HTML不是从服务器返回的，而是在页面的初始加载之后由浏览器客户端的javascript生成的。

要查看react生成的HTML，您需要评估从服务器返回的javascript代码。jsoup是简单的HTML解析器，不能计算js，因此必须使用另一个库，例如HTMLUnit。

例如：

WebClient webClient = new WebClient(BrowserVersion.CHROME);
webClient.getOptions().setJavaScriptEnabled(true); // enable javascript
webClient.getOptions().setThrowExceptionOnScriptError(false); //even if there is error in js continue
HtmlPage page = webClient.getPage(new URL("https://www.instagram.com/myUsername"));
webClient.waitForBackgroundJavaScript(5000); // important! wait when javascript finishes rendering

page.getElementById("react-root");