当前位置: 首页 > 知识库问答 >
问题:

如何在没有Polipo的情况下将Crawlera与selenium(Python、Chrome、Windows)结合使用

柳晔
2023-03-14

因此,基本上我正在尝试使用scrapinghub的Crawlera代理,并在windows上使用python的selenium chrome。

我检查了留档,他们建议这样使用Polipo:

1)在 /etc/polipo/config中添加以下行

parentProxy = "proxy.crawlera.com:8010"
parentAuthCredentials = "<CRAWLERA_APIKEY>:"

2) 将此添加到selenium驱动程序

polipo_proxy = "127.0.0.1:8123"
proxy = Proxy({
    'proxyType': ProxyType.MANUAL,
    'httpProxy': polipo_proxy,
    'ftpProxy' : polipo_proxy,
    'sslProxy' : polipo_proxy,
    'noProxy'  : ''
})

capabilities = dict(DesiredCapabilities.CHROME)
proxy.add_to_capabilities(capabilities)
driver = webdriver.Chrome(desired_capabilities=capabilities)

现在我想不使用脊髓灰质炎,直接使用代理。

有没有办法替换polipo_proxy变量并将其更改为crawlera变量?每次我尝试这样做时,它都不考虑它,在没有代理的情况下运行。

Crawlera代理格式类似于以下格式:[API密钥]:@[HOST]:[PORT]

我尝试使用以下行添加代理:

chrome_options.add_argument('--proxy-server=http://[API KEY]:@[HOST]:[PORT])

但问题是我需要以不同的方式指定HTTP和HTTPS。

提前谢谢你!

共有2个答案

卓新知
2023-03-14

Scrapinghub创建一个新项目。您需要使用apikey设置转发代理,然后将webdriver设置为使用此代理。项目地址为:zyte smartproxy headless proxy

你可以看看

郜卓君
2023-03-14

Polipo不再维护,因此在使用它时存在挑战。Crawlera需要身份验证,Chrome驱动程序目前似乎还不支持。您可以尝试使用Firefox webdriver,因为您可以在自定义Firefox配置文件中设置代理身份验证,并使用该配置文件,如在代理服务器后面运行selenium和中所示http://toolsqa.com/selenium-webdriver/http-proxy-authentication/.

我一直在遭受同样的问题,并从中得到了一些缓解。希望它也能帮助你。要解决这个问题,您必须使用Firefox驱动程序及其配置文件以这种方式放置代理信息。

profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", "proxy.server.address")
profile.set_preference("network.proxy.http_port", "port_number")
profile.update_preferences()
driver = webdriver.Firefox(firefox_profile=profile) 

这对我完全有效。作为参考,您可以使用上述网站。

 类似资料:
  • 问题内容: 说明: 我想在 Eclipse(Oxygen 4.7.1a)中 使用 JUnit 5* 创建一个JUnit测试。此JUnit测试应位于名为Test的单独src文件夹中。但是,当我刚接触JUnit和 Java 9时 ,遇到了以下问题。 __ * 我 不想 为此使用诸如 Gradle或Maven之 类的构建工具。 问题: 因为我有两个不同的src文件夹,一个用于项目src,一个用于测试用例

  • 问题内容: 我正在编写一个脚本,该脚本需要确定Windows上文件所有者的用户名。 虽然我找到了使用pywin32的解决方案,但是由于我不想添加模块依赖项,因此我很犹豫使用它。 该脚本将为python 2.6编写,并且必须同时在32位和64位平台上运行。 我想知道是否有其他方法(也许使用ctypes)来确定此信息 问题答案: 以下使用ctypes进行调用。最初,它遵循问题中链接的代码片段,但通常比

  • 问题内容: 我几乎没有为Windows构建软件的经验,而使用Windows API的经验为零,但是我对Python相当熟悉。我应该如何学习将Windows API与Python结合使用? 问题答案: 老实说,没有。Windows API是一个800磅重的长发怪物。 查理·佩佐尔德(Charlie Petzold)的一本15磅重的书 曾几何时地成为典范。 也就是说,适用于Windows的Python

  • 我正在玩grpc 有人成功使用进行生产吗?我们需要包括特使在内的所有依赖项吗?

  • 我正在尝试安装一个没有依赖项的python模块。 我跑: 但是这个安装依赖项,任何想法怎么能做到这一点?

  • 问题内容: 我是Python的新手,正在尝试安装此模块:http : //www.catonmat.net/blog/python-library-for-google- search/ 目录中没有setup.py,但是有以下文件: 有人可以告诉我如何设置或使用此模块吗? 谢谢! 问题答案: 在系统上开始使用该代码的最简单方法是: 将文件放入计算机上的目录中, 将该目录的路径添加到您的PYTHON