因此,基本上我正在尝试使用scrapinghub的Crawlera代理,并在windows上使用python的selenium chrome。
我检查了留档,他们建议这样使用Polipo:
1)在 /etc/polipo/config中添加以下行
parentProxy = "proxy.crawlera.com:8010"
parentAuthCredentials = "<CRAWLERA_APIKEY>:"
2) 将此添加到selenium驱动程序
polipo_proxy = "127.0.0.1:8123"
proxy = Proxy({
'proxyType': ProxyType.MANUAL,
'httpProxy': polipo_proxy,
'ftpProxy' : polipo_proxy,
'sslProxy' : polipo_proxy,
'noProxy' : ''
})
capabilities = dict(DesiredCapabilities.CHROME)
proxy.add_to_capabilities(capabilities)
driver = webdriver.Chrome(desired_capabilities=capabilities)
现在我想不使用脊髓灰质炎,直接使用代理。
有没有办法替换polipo_proxy变量并将其更改为crawlera变量?每次我尝试这样做时,它都不考虑它,在没有代理的情况下运行。
Crawlera代理格式类似于以下格式:[API密钥]:@[HOST]:[PORT]
我尝试使用以下行添加代理:
chrome_options.add_argument('--proxy-server=http://[API KEY]:@[HOST]:[PORT])
但问题是我需要以不同的方式指定HTTP和HTTPS。
提前谢谢你!
Scrapinghub创建一个新项目。您需要使用apikey设置转发代理,然后将webdriver设置为使用此代理。项目地址为:zyte smartproxy headless proxy
你可以看看
Polipo不再维护,因此在使用它时存在挑战。Crawlera需要身份验证,Chrome驱动程序目前似乎还不支持。您可以尝试使用Firefox webdriver,因为您可以在自定义Firefox配置文件中设置代理身份验证,并使用该配置文件,如在代理服务器后面运行selenium和中所示http://toolsqa.com/selenium-webdriver/http-proxy-authentication/.
我一直在遭受同样的问题,并从中得到了一些缓解。希望它也能帮助你。要解决这个问题,您必须使用Firefox驱动程序及其配置文件以这种方式放置代理信息。
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", "proxy.server.address")
profile.set_preference("network.proxy.http_port", "port_number")
profile.update_preferences()
driver = webdriver.Firefox(firefox_profile=profile)
这对我完全有效。作为参考,您可以使用上述网站。
问题内容: 说明: 我想在 Eclipse(Oxygen 4.7.1a)中 使用 JUnit 5* 创建一个JUnit测试。此JUnit测试应位于名为Test的单独src文件夹中。但是,当我刚接触JUnit和 Java 9时 ,遇到了以下问题。 __ * 我 不想 为此使用诸如 Gradle或Maven之 类的构建工具。 问题: 因为我有两个不同的src文件夹,一个用于项目src,一个用于测试用例
问题内容: 我正在编写一个脚本,该脚本需要确定Windows上文件所有者的用户名。 虽然我找到了使用pywin32的解决方案,但是由于我不想添加模块依赖项,因此我很犹豫使用它。 该脚本将为python 2.6编写,并且必须同时在32位和64位平台上运行。 我想知道是否有其他方法(也许使用ctypes)来确定此信息 问题答案: 以下使用ctypes进行调用。最初,它遵循问题中链接的代码片段,但通常比
问题内容: 我几乎没有为Windows构建软件的经验,而使用Windows API的经验为零,但是我对Python相当熟悉。我应该如何学习将Windows API与Python结合使用? 问题答案: 老实说,没有。Windows API是一个800磅重的长发怪物。 查理·佩佐尔德(Charlie Petzold)的一本15磅重的书 曾几何时地成为典范。 也就是说,适用于Windows的Python
我正在玩grpc 有人成功使用进行生产吗?我们需要包括特使在内的所有依赖项吗?
我正在尝试安装一个没有依赖项的python模块。 我跑: 但是这个安装依赖项,任何想法怎么能做到这一点?
问题内容: 我是Python的新手,正在尝试安装此模块:http : //www.catonmat.net/blog/python-library-for-google- search/ 目录中没有setup.py,但是有以下文件: 有人可以告诉我如何设置或使用此模块吗? 谢谢! 问题答案: 在系统上开始使用该代码的最简单方法是: 将文件放入计算机上的目录中, 将该目录的路径添加到您的PYTHON