使用HtmlUnit访问动态网站

Question

我想在不使用应用编程接口的情况下访问instagram页面。我需要找到追随者的数量，所以这不仅仅是一个源下载，因为页面是动态构建的。

我发现HtmlUnit是一个模拟浏览器的库，这样JS就会被渲染，我就能得到想要的内容。

HtmlPage myPage = ((HtmlPage) webClient.getPage("http://www.instagram.com/instagram"));

但是，此调用会导致以下异常：

Exception in thread "main" com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException: 403 Forbidden for http://d36xtkk24g8jdx.cloudfront.net/bluebar/3a30db9/scripts/webfont.js

所以它无法访问该脚本，但如果我正确解释了这一点，它只是为了加载字体，我不需要。我在google上搜索了如何告诉它忽略页面的某些部分，并找到了这条线索。

webClient.setWebConnection(new WebConnectionWrapper(webClient) {
              @Override
              public WebResponse getResponse(final WebRequest request) throws IOException {
                if (request.getUrl().toString().contains("webfont")) {
                  System.out.println(request.getUrl().toString());
                  return super.getResponse(request);
                } else {
                  System.out.println("returning response...");
                  return new StringWebResponse("", request.getUrl());
                }
              }
            });

使用该代码，异常消失了，但源（或页面标题，或我尝试过的任何其他内容）似乎是空的。“返回响应......”打印一次。

我也对不同的方法持开放态度。最终，单个字符串中的整个页面源对我来说已经足够好了，但我需要JS来执行。

Answer 1

HtmlUnit with JS不是一个好的解决方案，因为许多JS页面的Javascript引擎Mozilla Rhino不起作用，并且有很多问题。

您可以像Web驱动程序一样使用PhantomJs：

幻影