HtmlUnit WebClient方法getPage总是返回相同的页面

Question

我目前正在研究一种从特定网站中提取数据的解决方案（使用css选择器从网站的html表中返回价格列表）。为了做到这一点，我决定使用HtmlUnit库，因为我看到它支持很多特性。在我完成代码并针对同一页面（使用相同的搜索参数）进行测试后，我认为我已经完成了，但在为多个页面启动多个线程后，一切都发生了变化。问题是，基本上下面的代码总是为所有线程返回相同的旧页面，我根本不理解这种行为：

page = client.getPage(webPageURL); // always returns the same old page source

我使用同一个网站，我只是改变了一些搜索参数。

这些是我的代码的一部分：

final WebClient client = new WebClient(BrowserVersion.CHROME);  
            client.getOptions().setCssEnabled(false);  
            client.getOptions().setJavaScriptEnabled(true);
            client.setAjaxController(new com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController());
            client.getOptions().setThrowExceptionOnFailingStatusCode(false);
            client.getOptions().setThrowExceptionOnScriptError(false);
            client.addRequestHeader("Cache-Control", "no-cache, no-store, must-revalidate");
            client.addRequestHeader("Pragma", "no-cache");
            client.addRequestHeader("Expires", "0"); //
            client.getCache().clear();
            client.getCache().clearOutdated();
            client.getCache().setMaxSize(0);
            
            // enable sessions
            client.getCookieManager().setCookiesEnabled(true);

检索页面的地方：

HtmlPage page = null;
            
            try{
                //client.closeAllWindows();
                page = client.getPage(webPageURL);
                WebResponse response = page.getWebResponse();
                pageAsString= response.getContentAsString();

正如您所注意到的，我尝试了大量使用缓存（因为我认为这就是问题所在？）并通过将页面打印为字符串（pageAsString）进行了一些调试。无论我在页面url中更改了多少次搜索参数，都没有任何更改。我总是得到相同的旧页。

我还尝试了一些删除所有作业或清理页面的方法。不用说，没有一个奏效：

finally {
                client.getCurrentWindow().getJobManager().removeAllJobs();
                page.cleanUp();
                client.close();
                client.getCurrentWindow().getJobManager().shutdown();
                //client.closeAllWindows();
                //System.gc();
                }

你知道我是怎么搞砸代码的吗，我总是得到相同的缓存页面？

提前谢谢你，n23

Answer 1

似乎是与HtmlUnit无关的代理问题（有关更多详细信息，请参阅https://github.com/HtmlUnit/htmlunit/issues/327）