无法使用Jsoup解析url的完整html

Question

Jsoup库未解析给定URL的完整html。URL的原始html中缺少一些分区。

有趣的事情：http://facebook.com/search.php?init=s:email&q=[e-mail]&type=users

如果您在jsoup的官方站点http://try.jsoup.org/中给出了上面提到的url，它通过提取正确地显示了url的确切html，但是在使用jsoup库的程序中无法找到相同的结果。

下面是我的java代码：

String url="http://facebook.com/search.php?init=s:email&q=[e-mail]&type=users";

Document document = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.69 Safari/537.36").get();

String question =document.toString();
System.out.println(" whole content: "+question);

明确提到了正确的userAgent，它正在他们的官方站点中使用，但是，在结果中，我可以看到70%的原始html代码，但是在中间不知怎么的，我找不到几个division标签，这是我想要的数据。

我试过试过.....没用...为什么doc中少了几个div标记。

你可以直接取url放入你的浏览器，如果你登录了facebook，你可以看到的回应是：“没有为你的查询找到结果。检查你的拼写或尝试另一个术语。”这就是我在jsoup解析上面提到的URL的html时所要寻找的。

但不幸的是，这部分缺失了。实际上，这个响应在div id中：“#pagelet_search_no_results”。在解析的HTML中找不到具有此id的div。我尝试了很多jsoup的方法，但没有成功。

Answer 1

您还应该设置一个较大的超时，例如：

Document document = Jsoup.connect(url)
.header("Accept-Encoding", "gzip, deflate")
.userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0")
.maxBodySize(0)
.timeout(600000)
.get();