Scrapy-使用xPathSelector提取嵌套的“img src”

Question

我对使用Scrapy或python进行这方面的工作比较陌生。我想从几个不同的链接中提取，但我在使用HTMLXPathSelector表达式（语法）时遇到了问题。我已经查看了大量的文档以获得适当的语法，但还没有找到解决方案。

下面是一个链接示例，我试图从中提取“img src”：

我正试图从中提取img src url的页面

from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector

class GeekSpider(BaseSpider):
    name = "geekS"
    allowed_domains = ["geek.com"]
    start_urls = ["http://www.geek.com/articles/gadgets/kindle-fire-hd-8-9-on-sale-for-50-off-today-only-20121210/"]

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        imgurl = hxs.select("//div[@class='article']//a/img/@src").extract()
        return imgurl

我想我已经弄清楚了x.select语句的语法，但由于我对这种语法/方法是新手，所以我不确定。

下面是我的items.py文件，基本上遵循了这方面的教程：

from scrapy.item import Item, Field

class GeekItem(Item):
    imgsrc = Field()

澄清一下：我要做的是提取页面上的img src url。我不需要提取所有的图像SRC，我已经弄清楚了（容易得多）。

我只是想缩小范围，只提取img src的特定url。（我将在此站点的多个页面上使用此功能）

非常感谢任何帮助！

编辑更新的代码我在geek=geek()中遇到了一些语法错误，所以我稍微修改了一下，希望它更容易理解和操作

Answer 1

我相信您的xpath表达式应该更像这样。我在另一个页面（Amazon shipping center的文章）上测试了它，它返回了所有十个可点击的图片。

geek['imgsrc'] = x.select("//div[@class='article']//a/img/@src").extract()

要解决其他问题，您需要将GeekItem导入到GeekSpider代码中。

from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from geekspider.items import GeekItem # I'm guessing the name of your project here

class GeekSpider(BaseSpider):
    name = "geekS"
    allowed_domains = ["geek.com"]
    start_urls = ["http://www.geek.com/articles/gadgets/kindle-fire-hd-8-9-on-sale-for-50-off-today-only-20121210/"]

    def parse(self, response):
        item = GeekItem()
        hxs = HtmlXPathSelector(response)
        item['imgsrc'] = hxs.select("//div[@class='article']//a/img/@src").extract()
        return item