Python Scrapy动态网站

Question

我试图在Scrapy及其xpath选择器的帮助下抓取一个非常简单的网页，但由于某些原因，我拥有的选择器在Scrapy中不起作用，但在其他xpath实用程序中却起作用

我正在尝试解析此html代码段：

<select id="chapterMenu" name="chapterMenu">

<option value="/111-3640-1/20th-century-boys/chapter-1.html" selected="selected">Chapter 1: Friend</option>

<option value="/111-3641-1/20th-century-boys/chapter-2.html">Chapter 2: Karaoke</option>

<option value="/111-3642-1/20th-century-boys/chapter-3.html">Chapter 3: The Boy Who Bought a Guitar</option>

<option value="/111-3643-1/20th-century-boys/chapter-4.html">Chapter 4: Snot Towel</option>

<option value="/111-3644-1/20th-century-boys/chapter-5.html">Chapter 5: Night of the Science Room</option>

</select>

Scrapy parse_item代码：

def parse_item(self, response):
    itemLoader = XPathItemLoader(item=MangaItem(), response=response)
    itemLoader.add_xpath('chapter', '//select[@id="chapterMenu"]/option[@selected="selected"]/text()')
    return itemLoader.load_item()

Scrapy不会从中提取任何文本，但是如果我得到相同的xpath和html代码片段并在此处运行它，则效果很好。

如果我使用这个xpath：

//select[@id="chapterMenu"]

我得到正确的元素，但是当我尝试访问其中的选项时却什么也没有

Answer 1

Scrapy仅对URL执行GET请求，它不是Web浏览器，因此无法运行JavaScript。因此，仅Scrapy不足以抓取动态网页。

另外，您将需要Selenium之类的东西，它基本上为您提供了多个Web浏览器及其功能的接口，其中之一是能够运行JavaScript并获取客户端生成的HTML。

以下是如何执行此操作的摘要：

from Project.items import SomeItem
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.selector import Selector
from selenium import webdriver
import time

class RandomSpider(CrawlSpider):

    name = 'RandomSpider'
    allowed_domains = ['random.com']
    start_urls = [
        'http://www.random.com'
    ]

    rules = (
        Rule(SgmlLinkExtractor(allow=('some_regex_here')), callback='parse_item', follow=True),
    )

    def __init__(self):
        CrawlSpider.__init__(self)
        # use any browser you wish
        self.browser = webdriver.Firefox()

    def __del__(self):
        self.browser.close()

    def parse_item(self, response):
        item = SomeItem()
        self.browser.get(response.url)
        # let JavaScript Load
        time.sleep(3)

        # scrape dynamically generated HTML
        hxs = Selector(text=self.browser.page_source) 
        item['some_field'] = hxs.select('some_xpath')
        return item