使用selenium python网页驱动滚动网页

Question

我正在抓取这个网页的用户名，在滚动后加载用户

指向页面的Url:“http://www.quora.com/Kevin-Rose/followers"

我知道页面上的用户数（本例中的用户数为43812），如何滚动页面直到加载所有用户？我在互联网上搜索过同样的代码，在任何地方我都能找到几乎相同的代码行：

driver.execute_script（"window.scroll至（0）"）

如何确定垂直位置以确保加载所有用户？有没有其他方法可以实现同样的效果而不需要实际滚动？

   from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
import urllib

driver = webdriver.Firefox()
driver.get('http://www.quora.com/')
time.sleep(10)

wait = WebDriverWait(driver, 10)

form = driver.find_element_by_class_name('regular_login')
time.sleep(10)
#add explicit wait

username = form.find_element_by_name('email')
time.sleep(10)
#add explicit wait

username.send_keys('[e-mail]')
time.sleep(30)
#add explicit wait

password = form.find_element_by_name('password')
time.sleep(30)
#add explicit wait

password.send_keys('def')
#add explicit wait

password.send_keys(Keys.RETURN)
time.sleep(30)

#search = driver.find_element_by_name('search_input')
search = wait.until(EC.presence_of_element_located((By.XPATH, "//form[@name='search_form']//input[@name='search_input']")))

search.clear()
search.send_keys('Kevin Rose')
search.send_keys(Keys.RETURN)

link = wait.until(EC.presence_of_element_located((By.LINK_TEXT, "Kevin Rose")))
link.click()
#Wait till the element is loaded (Asynchronusly loaded webpage)

handle = driver.window_handles
driver.switch_to.window(handle[1])
#switch to new window 

element = WebDriverWait(driver, 2).until(EC.presence_of_element_located((By.PARTIAL_LINK_TEXT, "Followers")))
element.click()

Answer 1

因为在加载最后一个followers bucket之后没有什么特别的显示，所以我将依赖这样一个事实：您知道用户有多少followers，并且您知道在每个向下滚动时加载了多少followers（我已经检查了-每个滚动18个）。因此，您可以计算需要向下滚动页面多少次。

以下是实现（我使用了一个只有53名追随者的不同用户来演示解决方案）：

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

followers_per_page = 18

driver = webdriver.Chrome()  # webdriver.Firefox() in your case
driver.get("http://www.quora.com/Andrew-Delikat/followers")

# get the followers count
element = WebDriverWait(driver, 2).until(EC.presence_of_element_located((By.XPATH, '//li[contains(@class, "FollowersNavItem")]//span[@class="profile_count"]')))
followers_count = int(element.text.replace(',', ''))
print followers_count

# scroll down the page iteratively with a delay
for _ in xrange(0, followers_count/followers_per_page + 1):
    driver.execute_script("window.scrollTo(0, 10000);")
    time.sleep(2)

此外，您可能需要根据循环变量增加这个10000Y坐标值，以防有大量追随者。