网页正在用Chromedriver作为机器人检测Selenium Webdriver

Question

请原谅打断我们...当你浏览www.controller.com时，你的浏览器让我们以为你是个机器人。有几个原因可能会发生这种情况：你是一个超级用户，以超人的速度浏览这个网站。您已经在web浏览器中禁用了JavaScript。第三方浏览器插件，如Ghostery或NoScript，正在阻止JavaScript的运行。其他信息可在本支持文章中获得。若要申请解除封锁，请填写以下表格，我们将尽快审查。“

下面是我的代码：

from selenium import webdriver
import requests
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
options = webdriver.ChromeOptions()
options = webdriver.ChromeOptions()
options.add_argument("start-maximized")
options.add_argument("disable-infobars")
options.add_argument("--disable-extensions")
#options.add_argument('headless')
driver = webdriver.Chrome(chrome_options=options)
driver.get('https://www.controller.com/')
driver.implicitly_wait(30)

Answer 1

您只在问题中提到了pandas.get_html，而在代码中只提到了options.add_argument('headless')，因此不确定是否正在实现它们。但是，从您的代码尝试中取出最少的代码，如下所示：

>

代码块：

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("start-maximized")
options.add_argument("disable-infobars")
options.add_argument("--disable-extensions")
driver = webdriver.Chrome(chrome_options=options, executable_path=r'C:\Utility\BrowserDrivers\chromedriver.exe')
driver.get('https://www.controller.com/')
print(driver.title)

我也面临过同样的问题。

null

<script type="text/javascript" id="">
    window.onbeforeunload=function(a){"undefined"!==typeof sessionStorage&&sessionStorage.removeItem("distil_referrer")};
</script>

根据这篇文章，确实有关于蒸馏的东西。它...：

Distil通过观察站点行为和识别刮刮器特有的模式来保护站点免受自动内容刮刮机器人的攻击。当Distil在一个站点上识别出恶意机器人时，它会创建一个黑名单行为配置文件，并将其部署到所有客户。类似于机器人防火墙的东西，Distil检测模式并做出反应。

进一步，

null