Scrapy/XPATH：如何仅从后代和self中提取文本

Question

我有以下简单的嵌套结构：

<main>
    <em>bla-bla</em>

    <div class="1">1.1</div>

    <div class="2">2.1</div>

    <div class="2">2.2</div>

    <div class="1">1.2</div>

    <div class="2">
        <span>
            <em>2.3</em>
        </span>
    </div>

    <div class="2">2.4</div>

</main>

我现在想从所有节点中提取所有文本，但与嵌套节点（等等）斗争。

预期产出应为：

2.1
2.2
2.3
2.4

尝试类似于：

//div[contains(@class,"2")]/text()

给出

2.1
2.2
<div class="2"><span><em>2.3</em></span></div>
<div class="2"><span><em>2.3</em></span></div>
2.4

我没有使用直接的XPATH,而是尝试使用Scrapy中的几个步骤,例如：

divs = response.xpath("//div[contains(@class,"2")]")

for div in divs:
   # now check somehow that the div contains an "em" node

使用

div.xpath("//em")

不起作用，因为它给出了所有节点。在这里使用div.extract（）并查看返回的字符串，我当然可以找到使用字符串搜索的方法，但这是一个很大的漏洞，看起来不像是一个合适的解决方案。

对于如何直接使用Xpath或使用Scrapy解决这一问题的任何建议都将非常感谢。

Answer 1

对于[i.strip()for i in response.xpath('//div[contains(@class,“2”）]//text()').extract()if i.strip()]您有什么看法？

没有剥离，它也给出了一些空的情况：

>>> response.xpath('//div[contains(@class, "2")]//text()').extract()
[u'2.1', u'2.2', u'\n        ', u'\n            ', u'2.3', u'\n        ', u'\n    ', u'2.4']

因此我使用strip筛选它们：

>>> [i.strip() for i in response.xpath('//div[contains(@class, "2")]//text()').extract() if i.strip()]
[u'2.1', u'2.2', u'2.3', u'2.4']