硒留下正在运行的进程？

Question

当我的selenium程序由于某些错误而崩溃时，它似乎会留下正在运行的进程。

例如，这是我的流程列表：

carol    30186  0.0  0.0 103576  7196 pts/11   Sl   00:45   0:00 /home/carol/test/chromedriver --port=51789
carol    30322  0.0  0.0 102552  7160 pts/11   Sl   00:45   0:00 /home/carol/test/chromedriver --port=33409
carol    30543  0.0  0.0 102552  7104 pts/11   Sl   00:48   0:00 /home/carol/test/chromedriver --port=42567
carol    30698  0.0  0.0 102552  7236 pts/11   Sl   00:50   0:00 /home/carol/test/chromedriver --port=46590
carol    30938  0.0  0.0 102552  7496 pts/11   Sl   00:55   0:00 /home/carol/test/chromedriver --port=51930
carol    31546  0.0  0.0 102552  7376 pts/11   Sl   01:16   0:00 /home/carol/test/chromedriver --port=53077
carol    31549  0.5  0.0      0     0 pts/11   Z    01:16   0:03 [chrome] <defunct>
carol    31738  0.0  0.0 102552  7388 pts/11   Sl   01:17   0:00 /home/carol/test/chromedriver --port=55414
carol    31741  0.3  0.0      0     0 pts/11   Z    01:17   0:02 [chrome] <defunct>
carol    31903  0.0  0.0 102552  7368 pts/11   Sl   01:19   0:00 /home/carol/test/chromedriver --port=54205
carol    31906  0.6  0.0      0     0 pts/11   Z    01:19   0:03 [chrome] <defunct>
carol    32083  0.0  0.0 102552  7292 pts/11   Sl   01:20   0:00 /home/carol/test/chromedriver --port=39083
carol    32440  0.0  0.0 102552  7412 pts/11   Sl   01:24   0:00 /home/carol/test/chromedriver --port=34326
carol    32443  1.7  0.0      0     0 pts/11   Z    01:24   0:03 [chrome] <defunct>
carol    32691  0.1  0.0 102552  7360 pts/11   Sl   01:26   0:00 /home/carol/test/chromedriver --port=36369
carol    32695  2.8  0.0      0     0 pts/11   Z    01:26   0:02 [chrome] <defunct>

这是我的代码：

from selenium import webdriver

browser = webdriver.Chrome("path/to/chromedriver")
browser.get("http://stackoverflow.com")
browser.find_element_by_id('...').click()

browser.close()

有时，浏览器加载网页元素的速度不够快，所以当它试图点击它没有找到的东西时，Selenium会崩溃。其他时候它工作正常。

为了简单起见，这是一个简单的例子，但是对于一个更复杂的硒程序，什么是保证干净退出而不留下正在运行的进程的方法？它应该在意外崩溃和成功运行时干净退出。

Answer 1

我看到了这个非常古老的线程，但也许我的案例会对某人有用。出于某些原因，我不得不为带有Xvfb的Docker容器中的每个请求运行许多带有单独的web驱动程序实例的抓取器。所以每个请求都会产生2-3个带有Firefox的僵尸进程。（和12个whith Chrome驱动程序）。所以在几分钟的废弃之后，我有了数千个僵尸进程。driver.close（）和driver.quit（）没有成功。Jimmy的Engelbrecht解决方案更好，但它只杀死了部分进程。所以对我来说唯一的工作方法是在docker容器中启用init。

docker run --init container

它可以保护您免受意外创建僵尸进程的软件的侵害，这可能会（随着时间的推移！）使您的整个系统因PID而饥饿（并使其无法使用）。

• 如果您使用docker compose，您可以按照此答案中的描述启用它
• 对于Docker

Answer 2

发生的情况是，您的代码引发了一个异常，阻止了python进程继续。因此，关闭/退出方法永远不会在浏览器对象上被调用，因此ChromeDriver只是无限期地挂起。

您需要使用try/除外块来确保每次都调用关闭方法，即使抛出异常也是如此。一个非常简单的例子是：

from selenium import webdriver

browser = webdriver.Chrome("path/to/chromedriver")
try:
    browser.get("http://stackoverflow.com")
    browser.find_element_by_id('...').click()

except:
    browser.close()
    browser.quit()  # I exclusively use quit

这里有许多更复杂的方法，例如创建一个上下文管理器来与with语句一起使用，但是如果不更好地了解您的代码库，很难推荐一个。

Answer 3

如前所述，您应该运行浏览器。退出（）

但是在linux（docker内部）上，这会留下停用的进程。这些通常不是真正的问题，因为它们只是进程表中的一个条目，不消耗资源。但是如果你有很多这样的，你就会用完进程。通常我的服务器在65k进程时崩溃。

看起来是这样的：

# root@dockerhost1:~/odi/docker/bf1# ps -ef | grep -i defunct | wc -l
28599

root@dockerhost1:~/odi/docker/bf1# ps -ef | grep -i defunct | tail
root     32757 10839  0 Oct18 ?        00:00:00 [chrome] <defunct>
root     32758   895  0 Oct18 ?        00:00:02 [chrome] <defunct>
root     32759 15393  0 Oct18 ?        00:00:00 [chrome] <defunct>
root     32760 13849  0 01:23 ?        00:00:00 [chrome] <defunct>
root     32761   472  0 Oct18 ?        00:00:00 [chrome] <defunct>
root     32762 19360  0 01:35 ?        00:00:00 [chrome] <defunct>
root     32763 30701  0 00:34 ?        00:00:00 [chrome] <defunct>
root     32764 17556  0 Oct18 ?        00:00:00 [chrome] <defunct>
root     32766  8102  0 00:49 ?        00:00:00 [cat] <defunct>
root     32767  9490  0 Oct18 ?        00:00:00 [chrome] <defunct>

以下代码将解决此问题：

def quit_driver_and_reap_children(driver):
    log.debug('Quitting session: %s' % driver.session_id)
    driver.quit()
    try:
        pid = True
        while pid:
            pid = os.waitpid(-1, os.WNOHANG)
            log.debug("Reaped child: %s" % str(pid))

            #Wonka's Solution to avoid infinite loop cause pid value -> (0, 0)
            try:
                if pid[0] == 0:
                    pid = False
            except:
                pass
            #---- ----

    except ChildProcessError:
        pass