使用Python Selenium进行网络抓取：无法找到元素并滚动，出现“无法聚焦元素”错误

Question

我正在网站上搜寻机票信息。

url='https://www.vividseats.com/nhl-hockey/los-angeles-kings-tickets/kings-vs-canucks-2-14-2751065.html'

我正在使用Selenium和Python。我可以使用ChromeWebDriver进入页面，然后单击弹出窗口。我试着把左边的票证信息刮到下面

<ul class='ticket-rows'> 

通过使用driver.find_elements_by_class_name。

然而，这只是在名单的上半部分。一旦画面向下滚动，就会有更多的票出现。很明显，仅仅是刮擦并没有得到下半部的票。

我试图抓住票的类别，然后使用

import Keys
send_keys(Keys.END) 

在元素上滚动到帧的末尾，然后刮取票据。但我一直在

WebDriverException: Message: unknown error: cannot focus element

错误。

我寻找了这个框架，但是没有可以让我切换到的iframe。这是一个内联框架，在页面中，我无法切换到这个滚动到页面底部。

我需要做什么才能滚动到这个框架的底部，这样我就可以刮票了？我不是问怎么刮，只是想知道怎么把这个滚动到底

谢啦

编辑：包括@DebanjanB要求我尝试的代码

来自硒。网络驱动程序。常见的关键点导入关键点

1)

scroll = driver.find_element_by_class_name('value-score')
scroll.click()
scroll.send_keys(Keys.END)

2)

scroll = driver.find_element_by_class_name('row-container')
scroll.send_keys(Keys.END)

3)

scroll = driver.find_element_by_class_name('row')
scroll.send_keys(Keys.END)

他们最后都返回了错误

WebDriverException: Message: unknown error: cannot focus element




Answer 1

如果您想删除整个列表，则需要向下滚动，否则元素将不可见。

所以尝试下面的代码，它会先向下滚动，直到没有元素留下，然后为你检索信息和打印。

// Some driver initialization code
driver.get("https://www.vividseats.com/nhl-hockey/los-angeles-kings-tickets/kings-vs-canucks-2-14-2751065.html");
driver.findElement(By.xpath("//button[text()='SKIP']")).click();
String xPath = "//ul[@class='ticket-rows']/article";
// Getting initial visible rows
List<WebElement> rows = driver.findElements(By.xpath(xPath));
while(true) {
    // Scrolling down to the last row so that remaining rows get visible
    ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView(true);", rows.get(rows.size()-1));
    // Getting latest loaded visible rows count
    List<WebElement> tempRows = driver.findElements(By.xpath(xPath));
    //  System.out.println(rows.size()+" <<<===>>> "+tempRows.size());
    // If the latest rows count is greater than the previous rows count then we need to do the scroll down again otherwise break the loop
    if(tempRows.size() > rows.size()) {
        rows = tempRows;
    } else {
        break;
    }
}
// Printing the name and the price, you can change it to your convenience
List<WebElement> data = driver.findElements(By.xpath(xPath+"//strong"));
for(WebElement element : data) {
    System.out.println(element.getText().trim());
}

以下是Python中的端到端代码：

from selenium import webdriver
driver = webdriver.Chrome('C:\\NotBackedUp\\chromedriver.exe')
driver.get('https://www.vividseats.com/nhl-hockey/los-angeles-kings-tickets/kings-vs-canucks-2-14-2751065.html')

popUp = driver.find_element_by_xpath("//button[text()='SKIP']");
popUp.click()

xPath = "//ul[@class='ticket-rows']/article";
rows = driver.find_elements_by_xpath(xPath)
while True:
    driver.execute_script("arguments[0].scrollIntoView(true);", rows[-1])
    tmpRows = driver.find_elements_by_xpath(xPath)
    if len(tmpRows) > len(rows) :
        rows = tmpRows
    else:
        break

for element in driver.find_elements_by_xpath(xPath+"//strong"):
    print(element.text)

print("Done...")

我希望它能帮助。。。