使用“\d”从具有Scrapy for Python 2的DIV中提取数据时出现XPath错误

Question

我试图用scrapy for Python2从DIV中提取数据。我现在意识到不能在提取的div XPath中使用像\d这样的regex命令。我怎么才能解决这个问题呢？对于\d{,2},我想告诉python“嘿,这里应该有一个数值介于1-100之间的数字”,谢谢

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from craigslist_sample.items import CraigslistSampleItem
import re

class MySpider(CrawlSpider):
    name = "craigs" #add the 's' to make functional = "craigs"
    allowed_domains = ["craigslist.org"]
    start_urls = ["http://philadelphia.craigslist.org/cta/"]

    rules = (Rule (SgmlLinkExtractor(allow=("index\d\d\d{,3}\.html", ),restrict_xpaths=    ('//*[@id="toc_rows"]/div[3]/div/div/span/a',))
, callback="parse_items", follow= True),
)

def parse_items(self, response):
    hxs = HtmlXPathSelector(response)
    titles = hxs.select('//span[@class="pl"] | //span[@class="12"]')
    items = []

    for titles in titles:
        item = CraigslistSampleItem()
        item ["price"] = titles.select('//*[@id="toc_rows"]/div[2]/p[position() <=100])/span[3]/span[1]/text()').extract()
        item ["date"] = titles.select('//*[@id="toc_rows"]/div[2]/p[position() <=100]]/span[2]/span/text()').extract()
        item ["title"] = titles.select("a/text()").extract()
        item ["link"] = titles.select("a/@href").extract()
        items.append(item)
    return(items)

URL中的html代码片段如下：

item[“date”]=span class=“date”>1月12日/span>

item[“price”]=span class=“price”>$1950/span>

这两个都存在于此父祖先节点div id=“toc_rows”下

Answer 1

我假设p[\d{,2}]的意思是“前两个

元素”。

这是通过position():p[position()<=2]完成的。（提示:position()从1计数。）

请注意，position()对上下文敏感地进行计数。如果您选择p元素，它会对它们进行计数，而不是对它们前面的元素数进行计数。

<div>
  <p>First paragraph</p>     <!-- div/p[1]    or div/p[position() = 1] -->
  <div>Something else</div>  <!-- div/div/[1] or div/div[position() = 1] -->
  <p>Second paragraph</p>    <!-- div/p[2]    or div/p[position() = 2] -->

  <!-- div/p[position() <= 2] will select both <p> here -->
</div>

编辑（修改问题后）。下面是我要做的：

• 首先，选择所有行:“//div[@id='toc_row']//div[@class='row']”
• 然后，对每一行选择...
  • 价格:“。/span[@class='price']/text（）”
  • 日期:“。/span[@class='date']/text（）”
  • 标题:“。/span[@class='pl']/a/text（）”
  • 链接:“。/span[@class='pl']/a/@href”