如何在Crawljax中获取抓取内容

Question

我使用Crawljax抓取了动态网页。我可以获取当前的ID，状态和DOM。但我无法获得网站内容。任何人都可以帮助我吗？

CrawljaxConfigurationBuilder builder =
            CrawljaxConfiguration.builderFor("http://demo.crawljax.com/");
    builder.addPlugin(new OnNewStatePlugin() {



        @Override
        public String toString() {
            return "Our example plugin";
        }

                @Override
                public void onNewState(CrawlerContext cc, StateVertex sv) {

                    LOG.info("Found a new dom! Here it is:\n{}", cc.getBrowser().getStrippedDom());
                       String name = cc.getCurrentState().getName();
String url = cc.getBrowser().getCurrentUrl();
System.out.println(cc.getCurrentState().getDom());
System.out.println("New State: " + name + "; url: " + url);
                }
    });
    CrawljaxRunner crawljax = new CrawljaxRunner(builder.build());
    crawljax.call();

如何获取动态/ Java脚本网页内容。

Answer 1

我们可以获取网站源代码cc.getBrowser（）。getStrippedDom（））;
或cc.getCurrentState（）。getDocument（）;或 此编码是返回源代码（css / java脚本文件）。

不可能。因为它是测试工具。此工具仅选中“文本”可用，然后将临时数据分配给“字段”。