python-使用selenium在页面上查找电子邮件地址

Question

我使用的是Python 2.7.13。

# -*- coding: utf-8 -*-

from lxml import html
import requests
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

def init_driver():
    driver = webdriver.Firefox()
    driver.wait = WebDriverWait(driver, 5)
    return driver


def lookup(driver):
    driver.get("http://www.sportbirmingham.org/directory?sport=&radius=15&postcode=B16+8QG&submit=Search")
    try:
        for link in driver.find_elements_by_xpath('//h2[@class="heading"]/a'):
            link.click()
            emailAdress = driver.find_element_by_xpath('//div[@id="widget-contact"]//a‌​').get_attribute('hr‌​ef')
            print emailAdress
    except TimeoutException:
        print "not found"


if __name__ == "__main__":
    driver = init_driver()
    lookup(driver)
    time.sleep(5)
    driver.quit()

当我尝试并继续到链接的下一页时，我得到以下错误

文件“scrape.py”，第43行，在查找（driver）文件“scrape.py”中，第26行，在查找links.extend中([link.get_attribute('href')for link in driver.find_elements_by_xpath('//h2[@class=“heading”]/a')])文件“/usr/local/lib/python2.7/site-packages/selenium/webdriver/remote/webelement.py”，第139行，在get_attribute self,name中）文件“/usr/local/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py”，第465['value']文件“/usr/local/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py”，第236行，在execute self.error_handler.check_response文件“/usr/local/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py”，第192行，在check_response中升起exception_class（消息，屏幕，堆栈跟踪）selenium.common.exceptions.staleElementReferenceException：消息：元素引用已过时。该元素不再附加到DOM或页面已刷新。

Answer 1

这似乎是复制/粘贴问题。有时从StackOverflow答案复制代码时，可能会出现一些隐藏字符。Pythonshell中的XPath显示为'//div[@id=“widget-contact”]//a？？'。您应该手动重写它，以删除那些？？...

还需要注意的是，您的代码不会像您在第一次迭代时那样工作--不能返回到搜索页面。

请尝试使用以下代码：

from selenium.common.exceptions import NoSuchElementException

def lookup(driver):
    driver.get("http://www.sportbirmingham.org/directory?sport=&radius=15&postcode=B16+8QG&submit=Search")
    links = [link.get_attribute('href') for link in driver.find_elements_by_xpath('//h2[@class="heading"]/a')]
    page_counter = 1
    while True:
        try:
            page_counter += 1
            driver.find_element_by_link_text(str(page_counter)).click()
            links.extend([link.get_attribute('href') for link in driver.find_elements_by_xpath('//h2[@class="heading"]/a')])
        except NoSuchElementException:
            break            
    try:
        for link in links:
            driver.get(link)
            try:
                emailAdress = driver.find_element_by_xpath('//div[@id="widget-contact"]//a').text
                print emailAdress
            except NoSuchElementException:
                print "No email specified"
    except TimeoutException:
        print "not found"