当你使用selenium和铬驱动时，网站能检测到吗？

Question

我一直在使用Chromedriver测试Selenium，但我注意到，即使根本没有自动化功能，某些页面也可以检测到你正在使用Selenium。即使当我只是通过Selenium和Xephyr使用chrome手动浏览时，我也经常得到一个页面，指出检测到可疑活动。我已经检查了用户代理和浏览器指纹，它们与普通的chrome浏览器完全相同。

当我以普通的chrome浏览到这些站点时，一切正常，但是当我使用Selenium时，我被检测到。

从理论上讲，chromedriver和chrome在任何Web服务器上看起来都应该完全相同，但是它们可以通过某种方式检测到它。

如果你想要一些测试代码，请尝试以下方法：

from pyvirtualdisplay import Display
from selenium import webdriver

display = Display(visible=1, size=(1600, 902))
display.start()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--disable-extensions')
chrome_options.add_argument('--profile-directory=Default')
chrome_options.add_argument("--incognito")
chrome_options.add_argument("--disable-plugins-discovery");
chrome_options.add_argument("--start-maximized")
driver = webdriver.Chrome(chrome_options=chrome_options)
driver.delete_all_cookies()
driver.set_window_size(800,800)
driver.set_window_position(0,0)
print 'arguments done'
driver.get('http://stubhub.com')

如果浏览stubhub，你将在一个或两个请求中被重定向和“阻止”。我一直在对此进行调查，无法弄清楚他们如何分辨用户正在使用Selenium。

他们是如何做到的呢？

编辑更新：

我在Firefox中安装了Selenium IDE插件，当我在普通的Firefox浏览器中仅使用附加插件访问stubhub.com时就被禁止了。

编辑：

当我使用Fiddler来回查看HTTP请求时，我注意到“假浏览器”的请求通常在响应标头中具有“ no-cache”。

编辑：

像这样的结果是否有办法从Javascript检测到我在Selenium Webdriver页面中，这表明应该没有办法检测何时使用Webdriver。但这证据表明并非如此。

编辑：

该站点将指纹上传到他们的服务器，但是我检查了一下，selenium的指纹与使用chrome时的指纹相同。

编辑：

这是它们发送到服务器的指纹有效载荷之一

{"appName":"Netscape","platform":"Linuxx86_64","cookies":1,"syslang":"en-US","userlang":"en-US","cpu":"","productSub":"20030107","setTimeout":1,"setInterval":1,"plugins":{"0":"ChromePDFViewer","1":"ShockwaveFlash","2":"WidevineContentDecryptionModule","3":"NativeClient","4":"ChromePDFViewer"},"mimeTypes":{"0":"application/pdf","1":"ShockwaveFlashapplication/x-shockwave-flash","2":"FutureSplashPlayerapplication/futuresplash","3":"WidevineContentDecryptionModuleapplication/x-ppapi-widevine-cdm","4":"NativeClientExecutableapplication/x-nacl","5":"PortableNativeClientExecutableapplication/x-pnacl","6":"PortableDocumentFormatapplication/x-google-chrome-pdf"},"screen":{"width":1600,"height":900,"colorDepth":24},"fonts":{"0":"monospace","1":"DejaVuSerif","2":"Georgia","3":"DejaVuSans","4":"TrebuchetMS","5":"Verdana","6":"AndaleMono","7":"DejaVuSansMono","8":"LiberationMono","9":"NimbusMonoL","10":"CourierNew","11":"Courier"}}

selenium和铬相同

编辑：

VPN只能使用一次，但在加载第一页后会被检测到。显然，正在运行一些JavaScript以检测Selenium。

Answer 1

对于Mac用户

cdc_使用Vim或Perl 替换变量

你可以使用vim，或如@Vic Seedoubleyew在@ Erti-Chris Eelmaa的答案中指出的那样perl，替换中的cdc_变量chromedriver（请参阅@ Erti-Chris Eelmaa的帖子以了解有关该变量的更多信息）。使用vim或perl防止你不得不重新编译源代码或使用十六进制编辑器。chromedriver在尝试编辑原件之前，请确保对其进行复印。另外，以下方法也在上进行了测试chromedriver version 2.41.578706。

使用Vim

vim /path/to/chromedriver

在上面的行之后，你可能会看到一堆乱码。请执行下列操作：

1. cdc_通过键入/cdc_并按进行搜索return。
2. 按启用编辑a。
3. 删除任意数量的，$cdc_lasutopfhvcZLmcfl然后用相等数量的字符替换删除的内容。如果你不这样做，chromedriver将会失败。
4. 完成编辑后，按esc。
5. 要保存更改并退出，请键入:wq!并按return。
6. 如果你不想保存更改，但要退出，请键入:q!并按return。
7. 你完成了。

转到更改后的chromedriver双击。terminal应打开一个窗口。如果killed在输出中看不到，则说明你成功更改了驱动程序。

使用Perl

下面的行替换cdc_为dog_：

perl -pi -e 's/cdc_/dog_/g' /path/to/chromedriver

确保替换字符串与搜索字符串具有相同数量的字符，否则chromedriver将失败。

Perl说明

s///g 表示你要搜索一个字符串并将其全局替换为另一个字符串（替换所有出现的字符串）。

例如， s/string/replacment/g

所以，

s/// 表示搜索并替换字符串。

cdc_ 是搜索字符串。

dog_ 是替换字符串。

g 是全局键，它将替换每次出现的字符串。

如何检查Perl替代品是否有效

以下行将打印每次出现的搜索字符串cdc_：

perl -ne 'while(/cdc_/g){print "$&\n";}' /path/to/chromedriver

如果没有返回任何内容，cdc_则已被替换。

相反，你可以使用以下代码：

perl -ne 'while(/dog_/g){print "$&\n";}' /path/to/chromedriver

查看替换字符串，dog_现在是否在chromedriver二进制文件中。如果是这样，替换字符串将被打印到控制台。

转到更改后的chromedriver双击。terminal应打开一个窗口。如果killed在输出中看不到，则说明你成功更改了驱动程序。

包起来

更改chromedriver二进制文件后，请确保更改后的二进制文件的名称chromedriver为chromedriver，并且原始二进制文件已从其原始位置移动或已重命名。

我对这种方法的经验

以前在尝试登录时在网站上检测到我，但是用cdc_相同大小的字符串替换后，我得以登录。但是就像其他人所说的那样，如果已经被检测到，则可能会被阻止即使使用此方法后，还有其他原因。因此，你可能必须尝试使用​​VPN，其他网络或具有什么功能的站点访问检测到你的站点。