如何在每个请求上使用selenium python旋转各种用户代理

Question

我想对https://www.google.com/发出10个请求，但使用selenium和Python随机用户代理。我有一个循环，在这个循环中，我用随机的用户代理发出10个请求（使用假用户代理）。主要的问题是，对于每一个请求，web驱动程序是打开一个新的google chrome实例，我想在一个单一的实例中这样做，但与不同的用户代理。我怎样才能让这成为可能？1个谷歌chrome实例和10个随机用户代理的10个请求。下面是我的代码：

chrome_options = Options()
chrome_options.add_argument('no-sandbox')
chrome_options.add_argument("--start-maximized")
ua = UserAgent()
for i in range(0, 10):
    userAgent = ua.random
    chrome_options.add_argument('--user-agent="' + str(userAgent) + '"')
    driver1 = webdriver.Chrome(chrome_options=chrome_options, 
    executable_path="C:/Python34/chromedriver")
    driver1.get('https://www.google.com/')
    time.sleep(5)

Answer 1

execute_cdp_cmd():现在有了execute_cdp_cmd(cmd,cmd_args)命令，您可以使用Selenium轻松地执行google-chrome-devtools命令。使用此功能，您可以轻松地修改用户代理，以防止Selenium被检测到。

>

代码块：

from selenium import webdriver

driver = webdriver.Chrome(executable_path=r'C:\WebDrivers\chromedriver.exe')
print(driver.execute_script("return navigator.userAgent;"))
# Setting user agent as Chrome/83.0.4103.97
driver.execute_cdp_cmd('Network.setUserAgentOverride', {"userAgent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'})
print(driver.execute_script("return navigator.userAgent;"))
# Setting user agent as Chrome/83.0.4103.53
driver.execute_cdp_cmd('Network.setUserAgentOverride', {"userAgent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.53 Safari/537.36'})
print(driver.execute_script("return navigator.userAgent;"))
driver.get('https://www.httpbin.org/headers')

控制台输出：

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.53 Safari/537.36

即使您能够从已经启动的浏览会话中提取ChromeDriver和ChromeSession属性，例如UserAgent、会话ID、Cookies和其他会话属性，您仍然无法更改ChromeDriver的这些属性。

更简洁的方法是在teardown(){}方法中调用driver.quit()，以优雅地关闭和销毁ChromeDriver和Chrome浏览器实例，然后使用新的配置集跨越一组新的ChromeDriver和Chrome浏览器实例。

在这里你可以找到一个相关的讨论，我如何重新连接到webdriver用Selenium打开的浏览器？

您可以在以下内容中找到一些相关的详细讨论：

• 如何使用Selenium和Python更改用户代理
• 硒WebDriver：修改Navigator.WebDriver标志以防止硒检测