在代理服务器后面运行硒

Question

我一直在使用selenium进行python中的自动浏览器模拟和web抓取，这对我来说效果很好。但是现在，我必须在代理服务器后面运行它。因此，现在selenium将打开窗口，但无法打开请求的页面，因为未在打开的浏览器上设置代理设置。当前代码如下（示例）：

from selenium import webdriver

sel = webdriver.Firefox()
sel.get('http://www.google.com')
sel.title
sel.quit()

我现在如何更改上述代码以使用代理服务器？

Answer 1

这将完成以下工作：

import selenium
from selenium.webdriver.common.proxy import *

proxyHost = "my.proxy.host or IP"
proxyPort = "55555"

fp = webdriver.FirefoxProfile()
fp.set_preference("network.proxy.type", 1)
#fp.set_preference("network.proxy.http", proxyHost) #HTTP PROXY
#fp.set_preference("network.proxy.http_port", int(proxyPort))
#fp.set_preference("network.proxy.ssl", proxyHost) #SSL  PROXY
#fp.set_preference("network.proxy.ssl_port", int(proxyPort))
fp.set_preference('network.proxy.socks', proxyHost) #SOCKS PROXY
fp.set_preference('network.proxy.socks_port', int(proxyPort))
fp.update_preferences()

driver = webdriver.Firefox(firefox_profile=fp)

driver.get("http://www.whatismyip.com/")

Answer 2

官方的Selenium留档（http://docs.seleniumhq.org/docs/04_webdriver_advanced.jsp#using-a-proxy）提供了关于使用代理的明确和有用的指南。对于Firefox（这是示例代码中的首选浏览器），您应该执行以下操作：

from selenium import webdriver
from selenium.webdriver.common.proxy import *

myProxy = "host:8080"

proxy = Proxy({
    'proxyType': ProxyType.MANUAL,
    'httpProxy': myProxy,
    'ftpProxy': myProxy,
    'sslProxy': myProxy,
    'noProxy': '' # set this value as desired
    })

driver = webdriver.Firefox(proxy=proxy)

Answer 3

您需要设置所需的功能或浏览器配置文件，如下所示：

profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", "proxy.server.address")
profile.set_preference("network.proxy.http_port", "port_number")
profile.update_preferences()
driver = webdriver.Firefox(firefox_profile=profile)

另请参阅相关线程：

• 如何在python webdriver中为chrome设置代理