Http URLConnection等待内部请求

Question

我在做一个爬行项目。当我对网站进行简单的URLConnection连接时，如下所示：

URLConnection conn=new URL(URL).openConnection（）；BufferedReader reader=新的BufferedReader（新的InputStreamReader（conn.getInputStream（）））；

方法正确返回HTML正文。但是，网站对某些字段进行了内部请求。例如，网站从不同的web服务获取用户总数。在web浏览器中，用户总数会在一段时间后出现，但是使用URLConnection方法不会等待用户总数，返回的HTML也不包含这样的字段。

在Java中，有什么方法可以等待一段时间，使用URLConnection从网站获取所有数据。

Answer 1

从您的“inner requests”注释来看，网站似乎正在使用JavaScript（通过框架或仅使用本机浏览器API）来获取数据并将这些结果呈现到DOM中。这在现在的水疗中心等很常见。

如果是这种情况，再多的等待也不会改变使用URLConnection这样的简单HTTP库的结果--但是您可以通过在本地保存HTML并在浏览器中查看它来检查这一点--会发生什么？当您检查它时，该页面上是否有JavaScript？

为了在代码中正确地做到这一点，您需要一些能够更像浏览器的东西，并且能够在类似DOM的环境中执行HTML引用的JS。尝试Selenium与PhantomJS或headless Chrome/Firefox，或者GhostDriver。