无法使用Jsoup从amazon或flipkart页面解析img和名称

Question

我无法获得主图像和名称的产品在亚马逊或Flipkart使用JSOUP。

我的Java/JSOUP代码是：

// For amazon
Connection connection = Jsoup.connect(url).timeout(5000).maxBodySize(1024*1024*10);
Document doc = connection.get();
Elements imgs = doc.select("img#landingImage");
Elements names = doc.select("span#productTitle");

// For flipkart
Connection connection = Jsoup.connect(url).timeout(5000).maxBodySize(1024*1024*10);
Document doc = connection.get();
Elements imgs = doc.select("h1.title");
Elements names = doc.select("img.productImage.current");

有人能指出我在这里遗漏了什么吗？

有没有办法做同样的事？

Answer 1

发现了问题所在。

当我们使用java.net.URL使用URL提取服务时，GAE中的Jsoup工作如下：

private String read(String url) throws IOException
{
    URL urlObj = new URL(url);
    BufferedReader reader = new BufferedReader(new InputStreamReader(urlObj .openStream()));
    String line;
    StringBuffer sbuf = new StringBuffer();

    while ((line = reader.readLine()) != null) {
        if (line.trim().length() > 0)
            sbuf.append(line).append("\n");
    }
    reader.close();
    return sbuf.toString();
}

然后使用常规Jsoup作为：

String html = read(url);
Document doc = Jsoup.parse(html);