正在提取文本xpath scrapy

Question

大家好，我想使用scrapy中的xpath从html块中提取所有文本

假设我们有这样一个块：

<div>
   <p>Blahblah</p>
   <p><a>Bluhbluh</a></p>
   <p><a><span>Bliblih</span></a></p> 
</div>

我想将文本摘录为[“blahblah”,“blahblah”,“blihblih”]。我希望xpath在div节点中递归查找文本。我听说过try://div/p[descendant-or-self::*]/text()，但它不提取嵌套元素。

干杯！SEB

Answer 1

>>> selector.xpath('//div/p/descendant-or-self::*/text()').extract()
[u'Blahblah', u'Bluhbluh', u'Bliblih']

你差一点！你所要做的只是把后代或自己的文本，而不是把它作为一个属性。[]用于“交谈”属性，在您的例子中是p的属性，它们是不存在的。

Answer 2

您可以在每个p元素上使用XPath的string()函数：

>>> import scrapy
>>> selector = scrapy.Selector(text="""<div>
...    <p>Blahblah</p>
...    <p><a>Bluhbluh</a></p>
...    <p><a><span>Bliblih</span></a></p> 
... </div>""")
>>> [p.xpath("string()").extract() for p in selector.xpath('//div/p')]
[[u'Blahblah'], [u'Bluhbluh'], [u'Bliblih']]
>>> import operator
>>> map(operator.itemgetter(0), [p.xpath("string()").extract() for p in selector.xpath('//div/p')])
[u'Blahblah', u'Bluhbluh', u'Bliblih']
>>>