此程序仅对该url无效。。。对于其他URL，它正在工作[重复]

Question

我想从datatable中获取数据，datatable在前面提到的url中可用。

这不适用于此url，仅适用于其他url。它工作正常。

这是网页抓取的代码，但问题是该url不起作用。

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class GetData {
   public static void main(String[] args) throws InterruptedException {

      String html = "http://programs.dsireusa.org/system/program";
      try {
         Document doc = Jsoup.connect(html).get();
         Elements tableElements = doc.select("table");

         Elements tableHeaderEles = tableElements.select("thead tr th");
         System.out.println("headers");
         Thread.sleep(5000);
         System.out.println(tableHeaderEles.size());

         for (int i = 0; i < tableHeaderEles.size(); i++) {
            System.out.println(tableHeaderEles.get(i).text());
         }
         System.out.println();

         Elements tableRowElements = tableElements.select(":not(thead) tr");

         for (int i = 0; i < tableRowElements.size(); i++) {
            Element row = tableRowElements.get(i);
            System.out.println("row");
            Elements rowItems = row.select("td");
            for (int j = 0; j < rowItems.size(); j++) {
               System.out.println(rowItems.get(j).text());
            }
            System.out.println();
         }

      } catch (IOException e) {
         e.printStackTrace();
      }
   }
}

我希望输出的所有数据可在这个网址的可数据这个程序是工作正常的其他网址。

http://programs.dsireusa.org/system/program

Answer 1

问题是url在页面加载后加载其元素（通过javascript）。如果您可能要等待大约2秒钟才能刮取，则应加载页面

编辑：您将需要使用除beautifulSoup之外的其他内容，因为bs jsut在页面加载时读取所有内容。您可以使用selenium制作一个真正的浏览器来读取数据