如何在打开由javascript生成的链接后保留原始页面的元素并返回到原始页面

Question

通过javascript生成的链接移动另一个页面后，要在selenium的网络驱动程序中保留原始元素似乎是不可能或非常复杂的。我该怎么做呢？

我试图使用以下组件为特定的网页做网页抓取：

• Ubuntu 18.04。1 LTS
• Python 3.6。1
• Selenium（Python包）3.141。0
• 谷歌浏览器71.0。3578.98
• 铬驱动2.45。615279

该网页包含“href”为javascript函数的链接，如下所示：

<a href="javascript:funcName(10, 24, 100)"></a>

函数的定义是这样的。

var funcName = function(arg1, arg2, arg3) {
    var url = 'XXXXXXXX' // dynamically generated using arguments
    var form = $('<form>', {
        name: 'formName',
        action: url,
        method: 'post'
    });
    // Some procedure to enhance the form element with input arguments.
    form.submit()
}

上面的post请求将我重定向到另一个我想抓取的页面。

问题是原始网页包括许多链接，我想一个接一个地刮重定向页面。然而，如果不实际单击链接（

Python代码示例

for a in driver.find_elements_by_css_selector(.some-class-name):
    a.click()  # this redirects me to another page
    print(driver.current_url)  # this shows the redirected page
    driver.back()
    print(driver.current_url). # this shows the original page
    # After coming back to the original page and when doing looping process, Python returns StaleElementReferenceException
    # because a is attached to the original page before redirected.

我所做的是保留原始页面的元素，但不起作用：

1.复制元素（或驱动程序）对象

from copy import deepcopy
for a in driver.find_elements_by_css_selector(.some-class-name):
    a2 = deepcopy(a)
    a2.click()  # this redirects me to another page
    print(driver.current_url)  # Expected result is that this remains the original web page, but didn't

我尝试了驱动程序本身的deepcopy，但也不起作用。返回的错误为

TypeError: can't pickle _thread.lock objects

2.在新选项卡中打开重定向页面

from selenium.webdriver import ActionChains
from selenium.webdriver.common.keys import Keys

for a in driver.find_elements_by_css_selector(.some-class-name):

    action = ActionChains(driver)

    # Expected result is the following open the redirected page in a new tab, and CONTROL + TAB changes between tabs
    action.key_down(Keys.CONTROL).click(a).key_down(Keys.CONTROL).perform()  
    driver.send_keys(Keys.CONTROL + Keys.TAB)

但是，这并没有打开一个新的选项卡，只是移动到同一选项卡中的重定向页面。

如果没有简单的方法，我会创建一个列表或字典对象来存储我已经刮取的链接，每次刮取重定向页面后，我都会再次解析原始页面并跳过已经检查的链接。但我不想这样做，因为这是非常多余的。

Answer 1

我能够使用类似这样的方法在改变页面的同时迭代元素（灵感来自于yong的答案）。

这将允许您保持索引循环遍历元素，而无需实际担心空引用。

    downloadList = driver.find_elements_by_id('download-form')
    
    for i in range(0, len(downloadList)):
        downloadList[i].submit()
        time.sleep(15)
        driver.get("url")
        time.sleep(5)
        downloadList = driver.find_elements_by_id('download-form')
        time.sleep(20)

Answer 2

我选择了一种方法来创建另一个网络驱动程序实例。

driver = webdriver.Chrome()
driver_sub = webdriver.Chrome()

driver.get(url)
driver_sub.get(url)  # access the same page with different instance

for a in driver.find_elements_by_css_selector('.some-class-name'):
    script = a.get_attribute('href')
    driver_sub.execute_script(script)
    # do some work on the redirected page with driver_sub
    driver_sub.execute_script('window.history.go(-1)')  # this is almost same as driver_sub.back()

Answer 3

甚至你返回的是同一个页面，但是硒不知道是同一个页面，硒会把它当成一个新的页面。在for循环之前找到的链接不属于新页面。您需要在新页面上再次找到链接，并将它们分配给循环中的同一个变量链接。使用索引迭代到下一个链接。

links = driver.find_elements_by_css_selector(.some-class-name)

for i in range(0, len(links)):
    links[i].click()  # this redirects me to another page
    print(driver.current_url)  # this shows the redirected page
    driver.back()
    print(driver.current_url). 

    # Important: find the links again on the page back from redirected page
    # to resolve the StaleElementReferenceException.
    links = driver.find_elements_by_css_selector(.some-class-name)