是否存在无法检测到的Selenium Webdriver版本？

Question

我在ubuntu服务器上的selenium上运行chrome驱动程序。在住宅代理网络的背后。但是我的selenium被查出了。有没有一种方法可以使铬驱动剂和selenium100％无法检测到？

我已经尝试了很久了，但是我却忘记了我所做的许多事情，包括：

1. 尝试不同版本的Chrome
2. 添加几个标志并从chrome驱动程序文件中删除一些单词。
3. 使用隐身模式在代理（也包括住宅）后面运行它。
4. 加载配置文件。
5. 随机的鼠标移动。
6. 随机化一切。

我正在寻找100％无法检测到的selenium的真实版本。（如果曾经存在）或机器人跟踪器无法检测到的另一种自动化方式。

这是浏览器启动的一部分

sx = random.randint(1000,1500)
sn = random.randint(3000,4500)

display = Display(visible=0, size=(sx,sn))
display.start()


    randagent =  random.randint(0,len(useragents_desktop)-1)

    uag = useragents_desktop[randagent]
    #this is to prevent ip leaking
    preferences = 
"webrtc.ip_handling_policy" : "disable_non_proxied_udp",
"webrtc.multiple_routes_enabled": False,
"webrtc.nonproxied_udp_enabled" : False

    chrome_options.add_experimental_option("prefs", preferences)
    chrome_options.add_argument("--disable-dev-shm-usage")
    chrome_options.add_argument("--no-sandbox")
    chrome_options.add_argument("--disable-impl-side-painting")
    chrome_options.add_argument("--disable-setuid-sandbox")
    chrome_options.add_argument("--disable-seccomp-filter-sandbox")
    chrome_options.add_argument("--disable-breakpad")
    chrome_options.add_argument("--disable-client-side-phishing-detection")
    chrome_options.add_argument("--disable-cast")
    chrome_options.add_argument("--disable-cast-streaming-hw-encoding")
    chrome_options.add_argument("--disable-cloud-import")
    chrome_options.add_argument("--disable-popup-blocking")
    chrome_options.add_argument("--ignore-certificate-errors")
    chrome_options.add_argument("--disable-session-crashed-bubble")
    chrome_options.add_argument("--disable-ipv6")
    chrome_options.add_argument("--allow-http-screen-capture")
    chrome_options.add_argument("--start-maximized")
    wsize = "--window-size=" +  str(sx-10) + ',' + str(sn-10)
    chrome_options.add_argument(str(wsize) )

    prefs = {"profile.managed_default_content_settings.images": 2}
    chrome_options.add_experimental_option("prefs", prefs)

    chrome_options.add_argument("blink-settings=imagesEnabled=true")
    chrome_options.add_argument("start-maximized")
    chrome_options.add_argument("user-agent="+uag)
    chrome_options.add_extension(pluginfile)#this is for the residential proxy
    driver = webdriver.Chrome(executable_path="/usr/bin/chromedriver", chrome_options=chrome_options)

Answer 1

是否 检测到硒驱动的WebDriver 并不 取决于任何特定的 Selenium ， Chrome 或 ChromeDriver
版本。该 网站 本身可以检测网络流量，并可以识别 浏览器客户端 ，即 Web浏览器 作为 的webdriver controled 。

但是，一些避免在网络抓取过程中被检测到的通用方法如下：

• 网站可以通过您的 显示器大小 来确定您的脚本/程序的首要属性。因此，建议 不要 使用常规的视口。
• 如果您需要向网站发送多个请求，则需要继续更改每个请求的用户代理。您可以在Selenium中更改Google Chrome用户代理的方式中找到详细的讨论
• 为了模拟 人类一样 的行为，你可能需要甚至超越脚本执行减慢WebDriverWait和expected_conditions诱导time.sleep(secs)。在这里您可以找到有关如何在python中hibernateWebdriver毫秒的详细讨论

@Antoine Vastel在其博客网站“检测无头的Chrome”中提到了几种方法，这些方法将 Chrome 浏览器与 无头的 Chrome 浏览器区分开。

• 用户代理 ：用户代理属性通常用于检测操作系统以及用户的浏览器。在Chrome版本59中，它具有以下值：

        Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/59.0.3071.115 Safari/537.36

* 可以通过以下方法检查是否存在 _无头Chrome_ ：

                if (/HeadlessChrome/.test(window.navigator.userAgent)) {
            console.log("Chrome headless detected");
        }

• 插件 ： navigator.plugins返回浏览器中存在的一系列插件。通常，在Chrome上我们会找到默认插件，例如Chrome PDF viewer或Google Native Client。相反，在无头模式下，返回的数组 不 包含插件。

  • 可以通过以下方法检查是否存在 插件 ：

        if(navigator.plugins.length == 0) {
    console.log("It may be Chrome headless");
    

    }

• 语言 ：在Chrome中两个JavaScript属性使获得由所使用的语言 user: navigator.language 和 navigator.languages 。第一个是浏览器UI的语言，而第二个是代表用户首选语言的字符串数组。但是，在无头模式下，navigator.languages将返回一个 空 字符串。

  • 可以通过以下方法检查 语言 是否存在：

                if(navigator.languages == "") {
             console.log("Chrome headless detected");
        }

• WebGL ：WebGL是用于在HTML画布中执行3D渲染的API。使用此API，可以查询图形驱动程序的供应商以及图形驱动程序的渲染器。使用普通的Chrome和Linux，我们可以获得渲染器和供应商的以下值：Google SwiftShader和Google Inc.。在无头模式下，我们可以获得Mesa OffScreen，它是不使用任何类型的窗口系统进行渲染的技术Brian Paul，并且是启动开源Mesa图形库的程序。

  • 可以通过以下方法检查 WebGL 的存在：

                var canvas = document.createElement('canvas');
        var gl = canvas.getContext('webgl');

        var debugInfo = gl.getExtension('WEBGL_debug_renderer_info');
        var vendor = gl.getParameter(debugInfo.UNMASKED_VENDOR_WEBGL);
        var renderer = gl.getParameter(debugInfo.UNMASKED_RENDERER_WEBGL);

        if(vendor == "Brian Paul" && renderer == "Mesa OffScreen") {
            console.log("Chrome headless detected");
        }

* 并非所有的无头Chrome都具有相同的供应商和渲染器值。其他人保留的值也可以在非无头版本中找到。然而，`Mesa Offscreen`与`Brian Paul`指示的无头版本的存在。

• 浏览器功能 ：Modernizr库可以测试浏览器中是否存在各种HTML和CSS功能。我们发现Chrome与无头Chrome之间的唯一区别是后者没有发际线功能，该功能检测到对的支持hidpi/retina hairlines。

  • 可以通过以下方法检查 发际线功能 的存在：

                if(!Modernizr["hairline"]) {
            console.log("It may be Chrome headless");
        }

• 图片丢失 ：我们列表中的最后一个看上去也最坚固，这是由于Chrome无法使用而无法加载的图片尺寸。在使用普通Chrome浏览器的情况下，图像的宽度和高度取决于浏览器的缩放比例，但不为零。在无头Chrome中，图片的宽度和高度等于零。

  • 可以通过以下方法检查是否存在 缺少图像 ：

                var body = document.getElementsByTagName("body")[0];
        var image = document.createElement("img");
        image.src = "http://iloveponeydotcom32188.jg";
        image.setAttribute("id", "fakeimage");
        body.appendChild(image);
        image.onerror = function(){
            if(image.width == 0 && image.height == 0) {
            console.log("Chrome headless detected");
            }
        }