在Python中使用Selenium浏览链接[重复]

Question

我正试图从一个通过“下一步”按钮链接了多个页面的站点中获取数据

后续页面URL与上一页面URL没有对应关系

（在这种情况下，修改路径可以解决问题）

这就是我打算做的-

1.从初始URL开始

2.提取信息

3.点击NEXT

重复2次和3次

具体来说，我想知道如何在单击时获取新页面URL

这是我到目前为止想出来的

def startWebDriver():
    global driver
    options = Options()
    options.add_argument("--disable-extensions")
    driver = webdriver.Chrome(executable_path = '/path/to/driver/chromedriver_linux64/chromedriver',options=options)

#URL of the initial page
driver.get('https://openi.nlm.nih.gov/detailedresult.php?img=CXR1_1_IM-0001-3001&query=&coll=cxr&req=4&npos=1')

time.sleep(4)

#XPATH of the "NEXT" button
element = driver.find_element_by_xpath('//*[@id="imageClassM"]/div/a[2]/img').click()

任何帮助都将不胜感激

Answer 1

driver.current_url()

您可能需要先等待页面加载。

Answer 2

也许你可以试试这样：

from selenium import webdriver
from selenium.webdriver import ChromeOptions
import time

if __name__ == "__main__":
    options = ChromeOptions()
    options.add_argument("--disable-extensions")
    #start driver
    driver = webdriver.Chrome(options=options)
    #load first page
    driver.get('https://openi.nlm.nih.gov/detailedresult.php?img=CXR1_1_IM-0001-3001&query=&coll=cxr&req=4&npos=1')
    for i in range(3): #However many of these links to click
        time.sleep(4) # let each page load
        driver.find_element_by_xpath('//*[@id="imageClassM"]/div/a[2]/img').click()
        print(driver.current_url)

这为我加载页面（我删除了你关于chrome驱动程序路径的位，因为我的驱动程序在同一个文件夹中）。但是它确实得到了一个错误，看起来它对driver.find很生气_element_by_xpath('//*[@id="ImageClassM"]/div/a[2]/img'）。单击（）说：

硒。常见的例外情况。ElementNotVisibleException:消息：元素不可见

我不知道如何修复，因为我没有看到网页上的“下一步”按钮。。。不过我相信你能弄明白！

Answer 3

如果你想在点击下一步后得到你所在页面的网址，试试这个。

print(browser.current_url)

或

print(driver.current_url)