检索需要加载时间的网页

Question

我正在使用Jsoup解析网站的内容。问题是页面上有些数据需要几秒钟才能加载。因此，我的程序只能获取加载图形，而不能获取加载的数据。以下是我得到的：

<div class="sidebar_section">
    <h3><a href="#" class="sidebar_toggle down">Counsel</a></h3>
        <ul style="display:none;" id="counsel">
            <li>Loading &nbsp;&nbsp;<img src="/members/images/ajax-loader3.gif" /></li>
        </ul>
</div>

如果我在浏览器中打开此url，我实际上可以看到此块的内容，而不是“加载”字。

我想知道在页面完全加载后是否还有其他方法可以获取内容。以下是我的简单代码：

Document doc = Jsoup.connect(url).get();

任何帮助真的真的很感激。

Answer 1

HttpURLConnection可能是一种更好的抓取网页的方法，因为它提供了更多的控制和错误处理，另外还可以获得MIME类型和字符编码。