Python 3 Selenium WebDriverWait导致脚本永久挂起/冻结

Question

对我来说，预期的行为是要么打印“get_records-acquired pager”，要么在10秒后引发TimeoutException。

[...]
logging.info("get_records - Getting url: {}".format(url))
driver.get(url)
logging.info("get_records - Loaded")
# Get records number and result pages
elem = WebDriverWait(driver, 10).until(ec.element_to_be_clickable(
    (By.XPATH, "//td[@align='right']/span[@class='pager']"))
)
logging.info("get_records - Acquired pager")
[...]

Python版本:3.7.3Selenium版本:3.141.0Firefox版本：70.0.1

以前的版本似乎也发生了类似的bug（Selenium WebDriver(2.25)超时不起作用），但该bug已经关闭。

似乎在elem防止脚本冻结之前添加time.sleep(0.5)（打印“get_records-acquired pager”，或者引发timeoutException）。即使这是问题的一个转机，我也不愿强迫等待。

Answer 1

我实际上也有同样的经历，剧本一开始很好，但过了一段时间就永远挂了。“10秒”超时是WebDriver/Browser在10秒内尝试打开一个页面。但是没有定义python脚本向WebDriver/Browser发送请求的超时时间。默认情况下，它是none，这意味着请求将无限地等待。

简短的回答：

driver.command_executor.set_timeout(10)
driver.get(url)

解释：

当你打电话的时候

elem = WebDriverWait(driver, 10).until(ec.element_to_be_clickable(
    (By.XPATH, "//td[@align='right']/span[@class='pager']"))
)

您实际上是在向“控制进程”发送一个请求，它是一个http服务器，并告诉它做一些事情（在当前页面中找到一些元素）。超时'10'意味着“控制进程”告诉浏览器在10秒内打开一个页面，然后取消并将超时状态返回给python脚本。

但这里真正发生的是“控制过程”正在接收请求，但没有响应。我真的不知道在“控制过程”中发生了什么。