Python/Firefox无头刮擦脚本中的“从提线木偶解码响应失败”消息

Question

你好，我在这里和谷歌上做了很多搜索，但还没有找到解决这个问题的方法。

我在本地计算机(OSX10.10)上运行这个脚本。火狐是最新的V59。Selenium的版本为3.11.0，使用geckodriver V0.20。

这个脚本在本地没有问题，它可以运行所有的URL，刮页没有问题。

现在，当我把脚本放在我的服务器上时，唯一的区别是它是Ubuntu16.04(32位）。我使用适当的geckodriver（仍然是V0.20)，但其他一切都是一样的(Python 2.7，Selenium 3.11）。它似乎会使headless浏览器随机崩溃，然后所有browserobjt.get('url...')都不再工作。

要显示一些代码：

当我创建驱动程序时：

    options = Options()
    options.set_headless(headless=True)

    driver = webdriver.Firefox(
        firefox_options=options,
        executable_path=config.GECKODRIVER
    )

Driver作为参数传递给脚本的函数BrowserObj，然后用于调用特定的页面，然后在加载后将其传递给BeautifulSoup进行解析：

browserObj.get(url)

soup = BeautifulSoup(browserObj.page_source, 'lxml')

Traceback (most recent call last):
  File "main.py", line 164, in <module>
    getLeague
  File "/home/ps/dataparsing/XXX/yyy.py", line 48, in BBB
    soup = BeautifulSoup(browserObj.page_source, 'lxml')
  File "/home/ps/AAA/projenv/local/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 670, in page_source
    return self.execute(Command.GET_PAGE_SOURCE)['value']
  File "/home/ps/AAA/projenv/local/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 312, in execute
    self.error_handler.check_response(response)
  File "/home/ps/AAA/projenv/local/lib/python2.7/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
WebDriverException: Message: Failed to decode response from marionette

Answer 1

对于在Docker容器中运行selenium webdriver时遇到此问题的其他人，将容器大小增加到2GB可以解决此问题。

我想如果OP通过将服务器RAM升级到2GB来解决它们的问题，这也会影响物理机器，但这可能是巧合。