用Jsoup刮雅虎答案

Question

我正试图从雅虎答案中刮取关键词搜索的结果，在我的案例中，“酒精上瘾”。我正在使用Jsoup和URL修改来浏览搜索结果的页面以刮取结果。然而，我注意到，即使我为“最新”结果输入了URL，它仍然显示“相关性”结果，更糟糕的是，结果与浏览器上显示的不完全相同。

例如，最新结果的URL是：http://answers.yahoo.com/search/search_result？p=collow+addiction&s=1&sort=new

相关结果的URL为：http://answers.yahoo.com/search/search_result？p=collower+addiction&s=1&sort=rel

当你转到下一页时，“1”将变为2、3、4等（每页有10个结果）。

下面是我刮书页的方法：

String urlID = "";
String end = "&sort=new";
String glob = "http://answers.yahoo.com/search/search_result?p=alcohol+addiction&s=";
Integer forumID = 0;

while(nextPageIsThere){
    forumID++;
    System.out.println("Now extracting the page: "+forumID);
    try {
        urlID = glob+forumID+end;
        System.out.println(urlID);
        exdoc = Jsoup.connect(urlID).get();
        java.util.Date date= new java.util.Date();
    } catch (IOException e) {
        e.printStackTrace();
    }

...

更让人困惑的是，即使我增加了页码，而系统输出显示URL正在变为：

http://answers.yahoo.com/search/search_result？P=collow+addiction&S=2&sort=new

而且

http://answers.yahoo.com/search/search_result？p=collow+addiction&s=3&sort=new

它仍然一遍又一遍地刮着第1页所示的相同页面。我知道我的代码没有错。我已经html" target="_blank">调试了好几个小时了。我认为这与JSOUP.CONNECT和/或Yahoo Answer可能阻止机器人有关？同时，我不认为真的是那样。

有人知道为什么会这样吗？

Answer 1

JSoup只处理静态HTML，他们不能解析像这样的动态页面，在页面加载Ajax请求或JavaScript修改后下载内容。

尝试用HTMLUnit阅读此页面，此解析器支持JS页面。

它具有相当好的JavaScript支持（正在不断改进），甚至能够使用相当复杂的AJAX库，根据您想要使用的配置模拟Firefox或Internet Explorer。