如何访问所有URL的Selenium Python

Question

我正在尝试访问所有显示的URL，但它首先访问的不是全部

Google搜索网址https://www.google.co.uk/search?q=Rashmi&oq=Rashmi&aqs=chrome..69i57j69i60l3.6857j0j1&sourceid=chrome&ie=UTF-8#q=Rashmi+Custom+Tailors

    browser.get('https://www.google.co.uk/search?q=Rashmi&oq=Rashmi&aqs=chrome..69i57j69i60l3.6857j0j1&sourceid=chrome&ie=UTF-8#q=Rashmi+Custom+Tailors')
    time.sleep(5)

    try:        
        p_links = browser.find_elements_by_css_selector(' div > h3 > a')
        url_list = []
        for urls in p_links:
            if "Rashmi Custom Tailors" in urls.text:

                url = urls.get_attribute("href")
                url_list.append(url)
                for url in url_list:
                    browser.get(url)
                    time.sleep(4)

    except:
        pass

Answer 1

您的问题是使用以下方法导致的 错误做法 的结果：

try:
   do something
except:
    pass

在这一行代码中，您无法捕获有关程序为何按预期运行的任何信息。 它引发的异常可以帮助您改进代码，而不要像这样那样对待它。

现在，回到您的问题。在您的代码中，存在一些逻辑错误，例如[@Mohammad Rakib
Amin的answer]。因此，对您的代码进行一些更改，您得到了：

from selenium import webdriver
browser = selenium.Chrome()
browser.get('https://www.google.co.uk/search?q=Rashmi&oq=Rashmi&aqs=chrome..69i57j69i60l3.6857j0j1&sourceid=chrome&ie=UTF-8#q=Rashmi+Custom+Tailors')
time.sleep(5)
p_links = browser.find_elements_by_css_selector(' div > h3 > a')
for urls in p_links:
    if "Rashmi Custom Tailors" in urls.text:
        url = urls.get_attribute("href")
        browser.get(url)
        time.sleep(4)

但这并不能解决您的问题，您的浏览器只会像您描述的那样访问此第一个URL并引发Exception：

StaleElementReferenceException: Message: stale element reference: element is not attached to the page document

抛出此异常是因为在第二个循环期间，您正在使用的元素不再附加到浏览器的当前页面。

一个解决方案就像您所做的一样，查找所有元素并将所有url附加到列表中。您可以像这样遍历该列表，它在我的计算机上运行良好。试试吧：

from selenium import webdriver

browser = webdriver.Chrome()
query_url = "https://www.google.co.uk/search?q=Rashmi&oq=Rashmi&aqs=chrome..69i57j69i60l3.6857j0j1&sourceid=chrome&ie=UTF-8#q=Rashmi+Custom+Tailors"
browser.get(query_url)
p_links = browser.find_elements_by_css_selector("div > h3 > a")
urls = []
for elem in p_links:
    text = elem.text
    url = elem.get_property('href')
    if "Rashmi Custom Tailors" in elem.text:
        urls.append(url)

for url in urls:
    browser.get(url)

也许您indent error在第二个循环中做了一些。

PS：您的问题应该包含所有需要的代码，这样其他人可以更轻松地为您提供帮助。