在Python中使用Selenium提取特定类的链接

Question

我正在尝试从无限卷轴网站中提取链接

这是我向下滚动页面的代码

driver = webdriver.Chrome('C:\\Program Files     (x86)\\Google\\Chrome\\chromedriver.exe')
driver.get('http://seekingalpha.com/market-news/top-news')
for i in range(0,2):
    driver.implicitly_wait(15)
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(20)

我的目标是从这个页面中提取特定的链接。使用class=“market\u current\u title”和HTML，如下所示：

<a class="market_current_title" href="/news/3223955-dow-wraps-best-week-since-2011-s-and-p-strongest-week-since-2014" sasource="titles_mc_top_news" target="_self">Dow wraps up best week since 2011; S&amp;P in strongest week since 2014</a>

当我使用

URL = driver.find_elements_by_class_name('market_current_title')

我最终发现了“陈旧的元素引用：元素未附加到页面文档”的错误。然后我尝试了

 URL = driver.find_elements_by_xpath("//div[@id='a']//a[@class='market_current_title']")

但它说没有这样的联系！！！你对解决这个问题有什么想法吗？

Answer 1

您可能正在尝试与已经更改的元素（可能是滚动上方和屏幕外的元素）进行交互。尝试以下答案以获得一些关于如何克服此问题的好选项。

下面是一个片段：

from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
import selenium.webdriver.support.expected_conditions as EC
import selenium.webdriver.support.ui as ui

# return True if element is visible within 2 seconds, otherwise False
def is_visible(self, locator, timeout=2):
try:
    ui.WebDriverWait(driver, timeout).until(EC.visibility_of_element_located((By.CSS_SELECTOR, locator)))
    return True
except TimeoutException:
    return False