Python Selenium Web驱动程序-代理：查询参数

Question

我看到的挑战是，通过selenium，我试图点击一个网站元素（一个带有一些js的div）。“按钮”可将您导航到另一页。

如何配置浏览器以通过代理自动路由请求？

我的代理设置如下：http://api.myproxy.com?key=AAA111BBB6

我试图将webdriver（chrome）置于代理之后

from selenium import webdriver   
options = webdriver.ChromeOptions()
driver = webdriver.Chrome(chrome_options=options)

到目前为止，选项是浏览器窗口大小的一些基本配置。

我看过很多例子（ex1、ex2、ex3），但不知何故，我找不到一个适合我需要的例子。

import os 
dir_path = os.path.dirname(os.path.realpath(__file__)) + "\\chromedriver.exe"
PROXY = "http://api.scraperapi.com?api_key=1234&render=true"

from selenium import webdriver   
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=%s' % PROXY)
driver = webdriver.Chrome(executable_path = dir_path, chrome_options=chrome_options)

driver.get("https://stackoverflow.com/questions/11450158/how-do-i-set-proxy-for-chrome-in-python-webdriver")




Answer 1

经过无数次的实验，我发现这个东西可以用：

apiURL = "http://api.scraperapi.com/?api_key="+APIKEY+"&render=true&url="

而惨败与

apiURL = "http://api.scraperapi.com?api_key="+APIKEY+"&render=true&url="

我不得不承认我的无知：我认为两者应该是等价的

Answer 2

虽然您使用的代理地址似乎不是实际的代理，但它是一个API，在处理代理、验证码或任何IP阻塞后返回页面本身的HTML内容。但对于不同的场景，可能会有不同的解决方案。其中一些如下。

情景1

因此，据我所知，如果您的API提供了通过代理返回访问页面响应的功能，那么您使用此API的方式是错误的。

所以它应该直接在driver.get（）中使用，地址="http://api.scraperapi.com/?api_key=YOURAPIKEY

示例代码如下：

import os
dir_path = os.path.dirname(os.path.realpath(__file__)) + "\\chromedriver.exe"
APIKEY=1234 #replace with your API Key
apiURL = "http://api.scraperapi.com/?api_key="+APIKEY+"&render=true&url="

visit_url = "https://stackoverflow.com/questions/11450158/how-do-i-set-proxy-for-chrome-in-python-webdriver"

from selenium import webdriver
driver = webdriver.Chrome(executable_path = dir_path)
driver.get(apiURL+visit_url)

情景2

但是如果你有一些提供代理地址和登录凭据作为响应的应用编程接口，那么它可以在chrome选项中被捏造出来，用于chrome本身。

若api的响应类似于

• "PROTOCOL：//user：password@proxyserver： proxyport"（在认证的情况下）
• PROTOCOL：//proxyserver： proxyport（在空身份验证的情况下）

在这两种情况下，协议可以像HTTP、HTTPS、SOCKS4、SOCKS5等。

代码应该看起来像：

import os 
dir_path = os.path.dirname(os.path.realpath(__file__)) + "\\chromedriver.exe"
import requests
proxyapi = "http://api.scraperapi.com?api_key=1234&render=true" 
proxy=requests.get(proxyapi).text

visit_url = "https://stackoverflow.com/questions/11450158/how-do-i-set-proxy-for-chrome-in-python-webdriver"

from selenium import webdriver   
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server='+proxy)
driver = webdriver.Chrome(executable_path = dir_path, chrome_options=chrome_options)
driver.get(visit_url)

情景3

但是如果你有一些API本身是一个带有空身份验证的代理，那么可以在chrome选项中使用它来与chrome本身一起使用。

代码应该看起来像：

import os 
dir_path = os.path.dirname(os.path.realpath(__file__)) + "\\chromedriver.exe"
proxyapi = "http://api.scraperapi.com?api_key=1234&render=true" 

visit_url = "https://stackoverflow.com/questions/11450158/how-do-i-set-proxy-for-chrome-in-python-webdriver"

from selenium import webdriver   
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server='+proxyapi)
driver = webdriver.Chrome(executable_path = dir_path, chrome_options=chrome_options)
driver.get(visit_url)

因此，该解决方案可以根据不同的场景使用。