JSoup选择标记递归搜索

Question

我最近尝试使用JSoup来解析HTML文档，我在JSoup上做了一遍turrorious，发现select-Method可能就是我要找的。

我试图完成的是找到html文档中拥有某个类的所有元素。为了测试这一点，我在amazon的网页上尝试了这一点（想法：找到所有有特定优惠的交易）。

因此，我检查了web页面，看看正在使用哪些类和ID，然后尝试将其集成到一个小代码段中。在本例中,我找到了follwing元素：

<span id="dealTitle" class="a-size-base a-color-link dealTitleTwoLine restVisible singleCellTitle autoHeight">PROCAVE Matratzen-Brücke aus Schaumstoff 25 x 200 cm für ...</span>

这个元素嵌入到其他元素中，并且存在多次（当然是每次交易）。下面是我用来阅读交易元素的代码：

 Document doc = Jsoup.connect("https://www.amazon.de/gp/angebote/ref=gbph_ftr_s-8_cd61_page_1?gb_f_LD=dealStates:AVAILABLE%252CWAITLIST%252CWAITLISTFULL%252CUPCOMING,dealTypes:LIGHTNING_DEAL,page:1,sortOrder:BY_SCORE,dealsPerPage:8&pf_rd_p=425ddcb8-bed4-4e85-ac0f-c1a79d14cd61&pf_rd_s=slot-8&pf_rd_t=701&pf_rd_i=gb_main&pf_rd_m=A3JWKAKR8XB7XF&pf_rd_r=BTHRY008J9N3N5CCMNEN&gb_f_second=dealStates:AVAILABLE%252CWAITLIST%252CWAITLISTFULL,dealTypes:COUPON_DEAL,page:8,sortOrder:BY_SCORE,dealsPerPage:8").timeout(0).get();

            Elements deals = doc.select("span.a-size-base.a-color-link.dealTitleTwoLine.restVisible.singleCellTitle.autoHeight");

            for (Element deal : deals) {
                if (deal.text().contains("ItemMatch")) {
                    System.out.println("Found deal: " + deal.text());
                }
            }

不幸的是，我无法得到我正在寻找的元素。deals的大小始终为0。我试着修改我的select仅用部分类，我添加了id-attribute，等等。然而，我没有得到这些元素（在本例中，这些元素嵌套到其他元素中）。如果我尝试DOM层次结构中位于该元素之上的元素（例如，类为“a-section a-spacing-none slotcontainer”的div），则会找到该元素。

我实际上需要指定整个DOM层次结构吗（通过在我的select表达式中使用“>”）？我希望能够定义一个选择器，JSoup将遍历和搜索整个DOM树。

Answer 1

不，您不必指定完整的DOM层次结构。如果元素确实是DOM的一部分，那么您的测试应该可以工作。我怀疑它们可能不是DOM的一部分，因为DOM加载的是JSOUP。原因可能是内部DOM节点是由JavaScript通过Ajax填充的。JSoup不运行JavaScript，因此DOM的动态加载部分不可访问。为了实现您想要的，您可以直接查看AJAX调用并对其进行分析，或者继续使用另一种解决方案，如selenium webdriver，它运行一个包含工作JavaScript引擎的真正浏览器。