如何在加载内容后加载HTML

Question

我试图在一个网站上获得一个内容列表（若有人感兴趣的话，这一个）。布局最近发生了变化，现在他们不会一次加载所有内容，而是使用magic（可能是js）。我目前正在使用JSoup分析HTML，但我愿意接受建议。

这就是我得到的：

<div class="row" data-v-6e4dbe9e>
 <div class="col-17 podcasts-group" data-v-6e4dbe9e>
  <div class="loading-spinner" data-v-6e4dbe9e>      //the devil himself
   <div class="spinner" data-v-ac3cb376 data-v-6e4dbe9e>
    <div class="rect1" data-v-ac3cb376></div>
    <div class="rect2" data-v-ac3cb376></div>
    <div class="rect3" data-v-ac3cb376></div>
    <div class="rect4" data-v-ac3cb376></div>
    <div class="rect5" data-v-ac3cb376></div>
   </div>
  </div>
  <div mode="in-out" class="transition-group row" data-v-6e4dbe9e>
   //Here should be stuff!
  </div>
 </div>
</div>

实现此目的的代码：

String selector = "div.podcasts-items";
Elements elem = Jsoup.connect(link).get().select(selector)
System.out.println("html: "+elem.html());

这是我想看到的（复制从检查元素后，页面加载了所有的内容）：

<div class="row" data-v-6e4dbe9e>
 <div class="col-17 podcasts-group" data-v-6e4dbe9e>
  <!---->  //begone evil!
  <div mode="in-out" class="transition-group row" data-v-6e4dbe9e>
   <div class="col-17 col-md-8 center-margin" data-v-6e4dbe9e="">...</div>
   <div class="col-17 col-md-8 center-margin" data-v-6e4dbe9e="">...</div>
   <div class="col-17 col-md-8 center-margin" data-v-6e4dbe9e="">...</div>
   <div class="col-17 col-md-8 center-margin" data-v-6e4dbe9e="">...</div>
  </div>
 </div>
</div>

谷歌帮不了什么忙，因为与微调器等相关的所有内容都与javascript有关。

解决方案：

由于JSoup只加载超文本标记语言，不执行任何javascript，页面从来没有机会加载内容。你必须使用实际的浏览器引擎或像selenium这样的网络驱动程序来加载数据。

对于这个特定的问题，我能够通过这个网页的API加载Json数据直接获取内容。

Answer 1

如果我理解你的问题，那么你最好的选择是使用硒驱动程序。类似问题的链接