AWS EC2在尝试使用selenium无头chrome进行身份验证时超时

Question

我正在尝试使用AWS自动化一些过程，并且需要使用我正在使用的API对自己进行身份验证。问题是，它的速度太慢了。我正在使用selenium无头chrome浏览器连接到页面，填写我需要的信息并提交表单（根据其他来源，我发现TD Ameritrade API只接受浏览器路径，所以没有办法只处理请求，如果你知道其他情况，那也太好了）。在页面上查找元素大约需要20秒，发送键可能需要整整一分钟，并尝试在5分钟后提交超时的表单。这是我的selenium实现中的一个问题，还是与AWS或我连接的API有关？我的代码如下所示，错误如下：

        oauth = OAuth2Session(client_code, redirect_uri=redirect)
        authorization_url, state = oauth.authorization_url('https://auth.tdameritrade.com/auth')
        
        chrome_options = Options()
        chrome_options.add_argument('--headless')
        chrome_options.add_argument('--no-sandbox')
        #chrome_options.add_argument('--disable-gpu')
        chrome_options.add_argument('--window-size=1280x1696')
        chrome_options.add_argument('--user-data-dir=tmp/user-data')
        chrome_options.add_argument('--hide-scrollbars')
        chrome_options.add_argument('--enable-logging')
        chrome_options.add_argument('--log-level=0')
        chrome_options.add_argument('--v=99')
        chrome_options.add_argument('--single-process')
        chrome_options.add_argument('--data-path=tmp/data-path')
        chrome_options.add_argument('--ignore-certificate-errors')
        chrome_options.add_argument('--homedir=tmp')
        chrome_options.add_argument('--disk-cache-dir=tmp/cache-dir')
        chrome_options.add_argument('--no-proxy-server')
        chrome_options.add_argument("--proxy-server='direct://'");
        chrome_options.add_argument("--proxy-bypass-list=*");
        chrome_options.add_argument('user-agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36')
        chrome_options.binary_location = "/usr/bin/chromium-browser"
        
        with webdriver.Chrome(options=chrome_options) as driver:
            driver.get(authorization_url)
            
            usernamebox = driver.find_element_by_id("username0")
            print("found")
            usernamebox.send_keys(username)
            print("sent")
            passbox = driver.find_element_by_id("password")
            print("found2")
            passbox.send_keys(password)
            print("sent2")
            passbox.submit()
            print("submitted")

错误：

Traceback (most recent call last):
  File "/home/ubuntu/environment/td_ameritrade_test.py", line 229, in <module>
    td = TDClient()
  File "/home/ubuntu/environment/td_ameritrade_test.py", line 172, in __init__
    self.oauth_client = self.authenticate_user()
  File "/home/ubuntu/environment/td_ameritrade_test.py", line 90, in authenticate_user
    passbox.submit()
  File "/home/linuxbrew/.linuxbrew/Cellar/python@3.8/3.8.6/lib/python3.8/site-packages/selenium/webdriver/remote/webelement.py", line 86, in submit
    self._parent.execute_script(
  File "/home/linuxbrew/.linuxbrew/Cellar/python@3.8/3.8.6/lib/python3.8/site-packages/selenium/webdriver/remote/webdriver.py", line 634, in execute_script
    return self.execute(command, {
  File "/home/linuxbrew/.linuxbrew/Cellar/python@3.8/3.8.6/lib/python3.8/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "/home/linuxbrew/.linuxbrew/Cellar/python@3.8/3.8.6/lib/python3.8/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from renderer: 300.000
  (Session info: headless chrome=86.0.4240.75)

任何帮助都将不胜感激！

Answer 1

关于你的用例的更多细节将有助于我们分析程序执行太慢的原因。以下是一些注意事项：

• Chrome在启动期间崩溃的一个常见原因是在Linux上以root用户（管理员）身份运行Chrome。虽然可以通过在创建WebDriver会话时传递无沙盒标志来解决这个问题，但这种配置不受支持，并且非常不鼓励。您需要将环境配置为以普通用户身份运行Chrome。因此，您可能需要删除--no sandbox选项

这是沙盒故事的链接。

• 在使用--Headless选项时，由于某些限制，您将无法使用--window-size=1280x1696。

您可以在以下网站找到一些相关的详细讨论：

• 使用硒的无头Chrome全屏
• 在无头模式下无法最大化Chrome窗口

• 参数--disable-gpu是为了在windows平台上启用google-chrome-Headless。这是因为SwiftShader在之前的无头模式下无法在Windows上断言而需要的。这个问题通过Headless解决了：不需要设置--disable-gpu标志

您可以在错误中找到相关的详细讨论：gpu_进程_传输_工厂。cc（1007）-丢失用户界面共享上下文：在无头模式下通过ChromeDriver初始化Chrome浏览器时

• 此外，您还没有提到使用--隐藏滚动条，--启用日志记录，--日志级别=0，--v=99，--单进程，--数据路径=tmp/数据路径，--磁盘缓存目录=tmp/缓存目录，--没有代理服务器，--代理服务器='direct://'和--代理绕过列表=*参数，您选择暂时删除这些参数，并根据测试规范将其添加回

你可以在以下网站上找到一些相关的详细讨论：

硒在AWS EC2上工作，但在AWS Lambda上不工作