在从URL获取HTML之前预加载网站

Question

我试图从URL中获取数据，但我需要的信息需要几秒钟才能加载，并且在加载之前只在HTML中显示为加载，所以当我使用此代码时，我无法提取我需要的数据。

URL url = new URL("https://www.cardservices.uga.edu/fs_mobile/");
URLConnection con = url.openConnection();
InputStream is = con.getInputStream();
BufferedReader br = new BufferedReader(new InputStreamReader(is));
String line = null;
while ((line = br.readLine()) != null){
    System.out.println(lineNumber +": "+ line); 
}

我怎么能让网址加载一段时间，然后再把超文本标记语言去掉呢？

Answer 1

这是一个工作替代品，

    URL url = new URL("https://www.cardservices.uga.edu/fs_mobile/index.php/dashboard/occupancies/"); //This is the AJAX call that goes to load the data into webpage. You can get this from inspecting the network calls.
    URLConnection con = url.openConnection();
    InputStream is = con.getInputStream();
    BufferedReader br = new BufferedReader(new InputStreamReader(is));
    String line = null;
    while ((line = br.readLine()) != null){
        System.out.println(line); 
    }

它基本上给出了包含百分比的JSON响应。

希望有帮助。

此外，如果您非常想获得准确的HTML输出，可以使用Selenium执行等待。

Answer 2

您正在调用的网页可能会调用ajax调用来获取数据，这就是为什么您无法使用您的方法获取数据。

您有两个选项来获取该数据：

1. 使用浏览器的inspect元素（chrome中的F12）和“network”选项卡，获取ajax调用，并使用它而不是代码中使用的URL
2. 使用无头库（例如ghoustjs）调用URL，并在页面加载后对数据进行爬网

在我看来，我会选择选项1