如何使用BeautifulSoup4、python和selenium循环页面？

Question

我对Python相当陌生，第一次使用漂亮的汤，尽管我对硒有一些经验。我试图刮一个网站（http://cbseaff.nic.in/cbse_aff/schdir_Report/userview.aspx）所有的从属关系号码。

问题是它们在多个页面上（1上有20个结果，总计：21000个结果）

所以，我希望在某种循环中刮这些，可以在下一个页面上迭代btn，网页的URL中的问题不会改变，因此没有模式。

好吧，为此我尝试过，谷歌表导入超文本标记语言/导入XML方法，但由于大规模的问题，它只是挂起。接下来，我尝试了python，并开始阅读关于使用python抓取的内容（我是第一次这样做：））这个平台上的一些人建议了一种方法

（Python请求/美化对分页的组访问）

我也在尝试做同样的事情，但几乎没有成功。

此外，要获取结果，我们必须首先使用关键字“a”查询搜索栏--

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.by  import By
import time

options = webdriver.ChromeOptions()
options.add_argument("headless")
driver = webdriver.Chrome(executable_path=r"C:\chromedriver.exe",options=options)

driver.get("http://cbseaff.nic.in/cbse_aff/schdir_Report/userview.aspx")
#click on the radio btn
driver.find_element(By.ID,'optlist_0').click()

time.sleep(2)

# Search the query with letter A And Click Search btn
driver.find_element(By.ID,'keytext').send_Keys("a")
driver.find_element(By.ID,'search').click()

time.sleep(2)

next_button = driver.find_element_by_id("Button1")
data = []
try:
    while (next_button):    
        soup = BeautifulSoup(driver.page_source,'html.parser')
        table = soup.find('table',{'id':'T1'}) #Main Table
        table_body = table.find('tbody') #get inside the body
        rows = table_body.find_all('tr') #look for all tablerow
        for row in rows:            
            cols = row.find_all('td')  # in every Tablerow, look for tabledata
                for row2 in cols:
                    #table -> tbody ->tr ->td -><b> --> exit loop. ( only first tr is our required data, print this)

我期望的最终结果是跨多个页面的所有从属关系编号列表。

Answer 1

对while循环中的代码进行了少量添加：

next_button = 1 #Initialise the variable for the first instance of while loop

while next_button:
    #First scroll to the bottom of the page
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 
    #Now locate the button & click on it
    next_button = driver.find_element(By.ID,'Button1')
    next_button.click()
    ###
    ###Beautiful Soup Code : Fetch the page source now & do your thing###
    ###
    #Adjust the timing as per your requirement
    time.sleep(2)

请注意，滚动到页面底部很重要，否则会弹出一个错误，声称按钮1元素隐藏在页脚下。因此，有了脚本（在循环的开始），浏览器将向下移动到页面的底部。在这里，它可以清楚地看到'Button1'元素。现在，找到元素，执行单击操作