自动点击下载链接后，使用Selenium、Firefox、Python将EPS文件下载保存到磁盘

Question

工具：Ubuntu、Python、Selenium、Firefox

我打算从订阅网站自动下载图像文件。我只有通过付费订阅才能访问服务器。为了避免每次文件下载都要点击一个按钮，我决定使用Python、Selenium和Firefox将其自动化。（我两天来第一次同时使用这三种饼干。我对饼干也知之甚少。）

我有兴趣按顺序或偏好下载以下三种格式：['EPS'、'PNG'、'JPG']。网站上提供了每种格式的按钮。

通过手动设置Firefox首选项，我成功地将“PNG”和“JPG”文件自动下载到磁盘上，正如本文所建议的：python webcrawler下载文件

但是，当文件为“EPS”格式时，Firefox窗口中仍会弹出“您已选择保存”对话框。

从我的代码中可以看到，我已经设置了将EPS文件保存到磁盘的首选项。（同样，'JPG'和'PNG'文件按预期保存。）

from selenium import webdriver

profile = webdriver.firefox.firefox_profile.FirefoxProfile()
profile.set_preference("browser.download.folderList", 1)
profile.set_preference("browser.download.manager.showWhenStarting", False)
profile.set_preference('browser.helperApps.neverAsk.saveToDisk',
                       'image/jpeg,image/png,application/postscript,'
                       'application/eps,application/x-eps,image/x-eps,'
                       'image/eps')
profile.set_preference("browser.helperApps.alwaysAsk.force", False)
profile.set_preference("plugin.disable_full_page_plugin_for_types",
                       "application/eps,application/x-eps,image/x-eps,"
                       "image/eps")
profile.set_preference(
    "general.useragent.override",
    "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:26.0)"
    " Gecko/20100101 Firefox/26.0")
driver = webdriver.Firefox(firefox_profile=profile)

#I then log in and begin automated clicking to download files. 'JPG' and 'PNG' files are
#saved to disk as expected. The 'EPS' files present a save dialog box in Firefox.

我尝试为Firefox安装一个名为“download statusbar”的扩展，该扩展声称不会出现任何保存对话框。扩展加载到Selenium Firefox浏览器中，但不起作用。（很多评论都说，尽管开发人员坚持该扩展功能正常，但它还是被破坏了。）反正这对我没用，所以我放弃了。

在那次尝试中，我将此添加到Firefox配置文件中：

#The extension loads, but it doesn't function.
download_statusbar = '/home/$USER/Downloads/'
                     '/download_statusbar_fixed-1.2.00-fx.xpi'
profile.add_extension(download_statusbar)

从读取其他堆栈溢出。com帖子，我决定看看是否可以通过url和urllib2下载该文件。正如我所理解的那样，我需要将cookie添加到标题中，以便通过url验证“EPS”文件的下载。

我不熟悉这种技术，但这是我试图直接下载文件时使用的代码。尽管我尝试在urllib2打开器中设置cookie，但它还是以403禁止的响应失败了。

import urllib2
import cookielib
import logging
import sys

cookie_jar = cookielib.LWPCookieJar()
handlers = [
    urllib2.HTTPHandler(),
    urllib2.HTTPSHandler(),
]
[h.set_http_debuglevel(1) for h in handlers]
handlers.append(urllib2.HTTPCookieProcessor(cookie_jar))
#using selenium driver cookies, returns a list of dictionaries
cookies = driver.get_cookies()
opener = urllib2.build_opener(*handlers)
opener.addheaders = [(
    'User-agent',
    'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:26.0) '
    'Gecko/20100101 Firefox/26.0'
)]
logger = logging.getLogger("cookielib")
logger.addHandler(logging.StreamHandler(sys.stdout))
logger.setLevel(logging.DEBUG)
for item in cookies:
    opener.addheaders.append(('Cookie', '{}={}'.format(
        item['name'], item['value']
    )))
    logger.info('{}={}'.format(item['name'], item['value']))
response = opener.open('http://path/to/file.eps')
#Fails with a 403 Forbidden response

有什么想法或建议吗？我是错过了一些简单的东西，还是我需要放弃对自动下载EPS文件的希望？提前谢谢。

Answer 1

感谢@unutbu帮助我解决这个问题。我只是不懂文件下载的结构。我现在明白多了一点。

最后，我在火狐上安装了一个名为“实时HTTP标头”的扩展来检查服务器发送的标头。事实证明，EPS文件是通过应用程序/八位流的Content-Type发送的。

现在EPS文件按预期保存到磁盘。我修改了Firefox的首选项如下：

profile.set_preference('browser.helperApps.neverAsk.saveToDisk',
                   'image/jpeg,image/png,'
                   'application/octet-stream')