使用crontab（python）运行selenium

Question

我有一个python脚本，在下一行中通过selenium调用chrome。

 ff = webdriver.Chrome('/home/user01/webScraping/CollectAndGo/chromedriver')

python脚本是从shell脚本调用的。

python /home/user01/webScraping/CollectAndGo/cgcom.py > /home/user01/webScraping/CollectAndGo/cgcom.log 2>&1

当我从终端运行脚本或只是执行时。sh文件它工作得很好，但当我计划crontab作业时，它会失败，并出现下一个错误。

   raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: u'unknown error: Chrome failed to start: exited abnormally\n  (Driver info: chromedriver=2.9.248304,platform=Linux 3.5.0-36-generic x86_64)' 

错误与此问题的第一行代码有关。有人知道为什么会这样吗？

Answer 1

使用pyVirtual alshow和Xvfb为您管理您的窗口会话（最初来自此答案）

背景：

就我而言，公认的答案是行不通的。

解决方案：

1. 安装PyVirtualDisplay和Xvfb

pip3 install pyvirtualdisplay
sudo apt-get install xvfb

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from pyvirtualdisplay import Display
import time

# Display creates a virtual frame buffer and manages it for you
with Display(visible=False, size=(1200, 1500)):
    driver = webdriver.Firefox()
    driver.get("https://website-target.com")

    time.sleep(1)

    print(driver.current_url) # check connection

    time.sleep(1)

    print(driver.current_url)

    driver.close()

Answer 2

在MacOS Catalina上只有这个命令对我有效

* * * * * export DISPLAY=:0 && export PATH=$PATH:/usr/local/bin && /usr/bin/python3 ~/Documents/Scripts/my_script.py

Answer 3

尝试从cron启动浏览器最明显的问题是，即使计算机上运行了X，也没有为从crontab运行的进程设置DISPLAY环境变量，因此从那里启动浏览器将失败。

解决方案的范围从琐碎到超级复杂。一个简单的解决方案是接受如果没有X运行，您的脚本将无法运行，并手动将DISPLAY设置为： 0，这是Ubuntu启动的默认X服务器的默认显示号。

例如，如果我把这个命令放在crontab行的command列中，Chrome就会启动而不会出现问题：

DISPLAY=:0 google-chrome

特定于用户的crontab文件中的完整行如下所示：

0 * * * *  DISPLAY=:0 google-chrome

如果要运行通过selenium启动chrome的python脚本，则该行应该如下所示：

0 * * * *  DISPLAY=:0 python my_script.py

命令字符串按原样发送到shell，因此在最后一个示例中，字符串显示=：0 python my\u脚本。py将只传递给shell。常见的shell语法是将命令开头立即给出的变量赋值解释为设置环境变量。（dash和bash当然是这样，其中一个可能是大多数安装中的默认shell。）因此，shell解释的命令将环境变量DISPLAY设置为值0，然后运行python my\u脚本。py 。由于python从启动它的shell继承了它的环境，因此变量DISPLAY也为0。

设置DISPLAY=： 0，就像我上面显示的那样，仅为后面的命令设置变量。也可以为crontab执行的所有命令将DISPLAY设置为： 0。例如在以下用户特定的crontab中：

DISPLAY=:0

30 * * * *  google-chrome
0  * * * *  python my_script.py

行DISPLAY=：0设置执行google chrome和python my\u脚本的环境变量DISPLAY。py