无法从带有Scrapy的父节点和子节点/标记中获取文本

Question

在将此标记为重复之前，我已经搜索并尝试了在SO上找到的其他解决方案，它们是：

1. 刮擦css选择器：获取所有内部标记的文本
2. 如果子节点是Scrapy中其他节点的父节点，则如何使用XPath从子节点获取文本
3. Scrapy获取包括子级在内的整个文本

我要从中提取的HTML是：

<span class="location">
    Mandarin Oriental Hotel
    <a class="" href="/search-results/Jalan+Pinang%252C+Kuala+Lumpur+City+Centre%252C+50088+Kuala+Lumpur%252C+Wilayah+Persekutuan./?state=Kuala+Lumpur" itemprop="addressRegion" title="Jalan Pinang, Kuala Lumpur City Centre, 50088 Kuala Lumpur, Wilayah Persekutuan.">
    Jalan Pinang, Kuala Lumpur City Centre, 50088 Kuala Lumpur, Wilayah Persekutuan.
    </a>
    ,
    <a class="" href="/search-results/?neighbourhood=Kuala+Lumpur&state=Kuala+Lumpur" title="Kuala Lumpur">
    Kuala Lumpur
    </a>
    ,
    <a class="" href="/search-results/?state=Kuala+Lumpur" title="Kuala Lumpur">
    Kuala Lumpur
    </a>
    <span class="" itemprop="postalCode">
        50088
    </span>
</span>

我想获取//span[@class='location']中的所有文本。

我试过：

1. response.xpath（“//span[@class='location']//text()”）.extract_first()
2. response.css（“span.location*::text”）.extract_first()
3. response.css（“span.location：：text”）.extract_first()

全部只回文华东方酒店，不回完整地址。

编辑：文本应产生

文华东方酒店，吉隆坡市中心，吉隆坡市中心，吉隆坡50088

Answer 1

使用response.css（“span.location：：text”）.extract_first()，您只获得第一个文本，因此可以尝试调用response.css（“span.location：：text”）.extract()，然后将其串联起来。

您还可以尝试获取整个父元素并从中删除标记：

from w3lib.html import remove_tags

data = response.css('span.location').get()
if not data:
    return
result = remove_tags(data)

Answer 2

尝试使用下面的代码获取每个span的字符串表示形式，地址为：

for entry in response.xpath("//div[@class='entry']"):
    print(entry.xpath("normalize-space(./span[@class='location'])").extract_first())