Python selenium for获取值和创建命名元组的循环花费了太多时间

Question

按照我前面的问题，我已经成功地完成了任务的一些小部分。

到目前为止，我总结了以下内容：

import os
from collections import namedtuple
from operator import itemgetter
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

song = namedtuple('song', 'artist title album duration artistlink songlink albumlink')

path = os.environ['APPDATA'] + '\Mozilla\Firefox\Profiles'
path = (path + '\\' + os.listdir(path)[0]).replace('\\', '/')
profile = webdriver.FirefoxProfile(path)

Firefox = webdriver.Firefox(profile)
wait = WebDriverWait(Firefox, 30)

Firefox.get('https://music.163.com/#/playlist?id=158624364&userid=126762751')

iframe = Firefox.find_element_by_xpath('//iframe[@id="g_iframe"]')
Firefox.switch_to.frame(iframe)

wait.until(EC.visibility_of_element_located((By.XPATH, '//table/tbody/tr')))

rows = Firefox.find_elements_by_xpath('//table/tbody/tr')

entries = []

for row in rows:
    column1 = row.find_element_by_xpath('td[2]/div/div/div/span/a')
    title = column1.text
    songlink = column1.get_attribute('href')
    duration = row.find_element_by_xpath('td[3]/span').text
    column3 = row.find_element_by_xpath('td[4]/div/span/a')
    artist = column3.text
    artistlink = column3.get_attribute('href')
    column4 = row.find_element_by_xpath('td[5]/div/a')
    album = column4.text
    albumlink = column4.get_attribute('href')
    entries.append(song(artist, title, album, duration, artistlink, songlink, albumlink))

等待是必须的，因为javascript需要一些时间来加载所有这些条目，如果过早地刮表，最多只能有1000首歌曲。

我关心的是循环部分，处理2748个条目需要三分钟以上。

这一行：

rows = Firefox.find_elements_by_xpath('//table/tbody/tr')

它获取整个表的速度非常快（不到三秒），但我不知道为什么在循环中使用多个find_element\u by_xpath（）和get_attribute（）会导致代码运行缓慢。

在短时间内多次调用这些方法对浏览器来说是否太费力，或者创建命名元组本身就很慢？

如何优化？

Answer 1

这不是关于你的代码速度，而是关于它的正确性
在for循环中，您每次都试图在特定行中搜索，但我不确定您是否得到了预期的结果
在父节点元素中搜索子元素时，应使用启动XPath表达式 说“从这里”，从这个节点元素开始。否则，您将使用相对XPath搜索整个网页，如td[2]/div/div/div/span/a<在这里你可以看到这个解释
请尝试一下，并告诉我这是否带来了一些变化：

for row in rows:
    column1 = row.find_element_by_xpath('.//td[2]/div/div/div/span/a')
    title = column1.text
    songlink = column1.get_attribute('href')
    duration = row.find_element_by_xpath('.//td[3]/span').text
    column3 = row.find_element_by_xpath('.//td[4]/div/span/a')
    artist = column3.text
    artistlink = column3.get_attribute('href')
    column4 = row.find_element_by_xpath('.//td[5]/div/a')
    album = column4.text
    albumlink = column4.get_attribute('href')
    entries.append(song(artist, title, album, duration, artistlink, songlink, albumlink))