硒/铬/铬（86）发行AWS Lambda

Question

我在过去的一周里一直在处理这个问题，脑子里想不起来，所以我决定寻求帮助。我正在尝试使用Chromium 86构建在AWS Lambda中运行Selenium。我不断收到的错误消息如下：

{
  "errorMessage": "Message: unknown error: Chrome failed to start: exited abnormally.\n  (chrome not reachable)\n  (The process started from chrome location /opt/bin/chromium is no longer running, so ChromeDriver is assuming that Chrome has crashed.)\n",
  "errorType": "WebDriverException"
}

以下是我的版本：

Selenium 3.14
Chromium 86.0.4240.0 (https://github.com/vittorio-nardone/selenium-chromium-lambda/blob/master/chromium.zip) which is forked from (https://github.com/puppeteer/puppeteer)
Chromedriver 86.0.4240.22.0 (https://chromedriver.storage.googleapis.com/index.html?path=86.0.4240.22/)

这是我的代码：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import logging

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    chrome_options = webdriver.ChromeOptions()
#   chrome_options.add_argument('--no-sandbox')
    chrome_options.add_argument('--headless')
    chrome_options.add_argument("start-maximized")
    chrome_options.add_argument("disable-infobars")
    chrome_options.add_argument('--disable-gpu')
    chrome_options.add_argument('--disable-dev-shm-usage')
    chrome_options.add_argument('--window-size=1024x768')
    chrome_options.add_argument('--user-data-dir=/tmp/user-data')
    chrome_options.add_argument('--profile-directory=/tmp')
    chrome_options.add_argument('--hide-scrollbars')
    chrome_options.add_argument('--enable-logging')
    chrome_options.add_argument('--log-level=0')
    chrome_options.add_argument('--v=99')
#   chrome_options.add_argument('--single-process')
    chrome_options.add_argument('--data-path=/tmp/data-path')
    chrome_options.add_argument('--ignore-certificate-errors')
    chrome_options.add_argument('--homedir=/tmp')
    chrome_options.add_argument('--disk-cache-dir=/tmp/cache-dir')
    chrome_options.add_argument('user-agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.3163.100 Safari/537.36')
    chrome_options.add_argument('--remote-debugging-port=9222')
    chrome_options.binary_location = "/opt/bin/chromium"

    driver = webdriver.Chrome(executable_path="/opt/bin/chromedriver",options=chrome_options)
    driver.get('https://www.google.com/')

到目前为止我已经尝试过的事情：

1. 尝试了各种运行时Python 3.6、3.7、3.8，但没有成功
2. 尝试使用和不使用Lambda层。尝试使用Lambda逐层文件夹结构时相对简单：

.
├── bin
│   ├── chromedriver (binary)
│   └── chromium (binary)
└── python
    ├── selenium
    ├── selenium-3.14.0.dist-info
    ├── urllib3
    └── urllib3-1.26.7.dist-info

Chrome驱动程序和Chromium二进制文件不在aws lambda上工作

WebDriverException：消息：未知错误：Chrome无法启动：在Amazon Linux上通过Selenium Python使用ChromeDriver Chrome时出错。。等

我唯一注意到的是，如果我使用某些参数，有时它会抛出selenium。常见的例外情况。WebDriverException：消息：未知错误：无法在chrome中发现打开的窗口，而不是chrome无法启动：异常退出。作为我的最后一个想法，我正在考虑编译自己的Chrome86版本。有没有人能够在AWS Lambda上运行build 86或更高版本？

Answer 1

我花了几天时间试图找出我的整个设置中可能存在的问题。是密码吗？我使用lambda/layers的方式？二进制文件？运行时环境？运动部件太多，我不想退回到Chromium 6x（这是我最后一次工作设置），因为这是非常古老的，我需要的某些功能并不存在。。类似于Chrome DevTools协议的功能。

然后，我偶然发现了这个存储库，其中讨论了如何将Amazon ECS与Lambda结合使用：

https://github.com/umihico/docker-selenium-lambda

基本上在几分钟内，我就可以设置链接到Lambda的容器图像，并且它正在运行：

1. Python 3.9.8

然后我移植了我的函数代码，通过一些更改，我终于设法让它工作了！以下是我的工作参数：

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--disable-dev-tools')
chrome_options.add_argument('--remote-debugging-port=9222')
chrome_options.add_argument('--window-size=1280x1696')
chrome_options.add_argument('--user-data-dir=/tmp/chrome-user-data')
chrome_options.add_argument('--single-process')
chrome_options.add_argument("--no-zygote")
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.binary_location = "/opt/chrome/chrome"

driver = webdriver.Chrome
driver = webdriver.Chrome("/opt/chromedriver",options=chrome_options)
driver.get('https://www.google.com/')

此设置与纯Lambda之间的主要区别在于，您使用ECS（基于容器）图像，并且您不是运行无头chrome或无服务器chrome，而是从chrome快照运行守护进程。

https://commondatastorage.googleapis.com/chromium-browser-snapshots/index.html