（Python 3，BeautifulSoup 4）-在Div中进行刮页分页

Question

我可以浏览此网站的第一页：

http://ratings.food.gov.uk/enhanced-search/en-GB/^/伦敦/相关性/0/^/^/0/1/10

但我正试图通过使用网站分页中的“下一步”按钮来刮除网站上的所有其他页面。

我单击了Next按钮，可以看到第2页的参数从0/1/10更改为0/2/10，以此类推。

我已经看了分页代码，我可以看到分页在一个Div中

 <div id="pagingNext" class="link-wrapper">

问题是，我仅使用以下代码成功地从另一个站点刮取分页：

button_next = soup.find("a", {"class": "btn paging-next"}, href=True)
while button_next:
    time.sleep(2)#delay time requests are sent so we don't get kicked by server
    soup=makesoup(url = "https://www.propertypal.com{0}".format(button_next["href"]))

这是可行的，但由于我目前正在抓取的这个网站似乎没有为下一个按钮URL提供a href，我不知道如何尝试和抓取它

我试过：

button_next = soup.find("div", {"class": "paging-Next"})
while button_next:
    time.sleep(2)#delay time requests are sent so we don't get kicked by server
    soup=makesoup(url = "https://www.propertypal.com{0}".format(button_next))

但它似乎没有刮到其他页面，只是第一页仍然。

如果有人能提供帮助，我将不胜感激。

谢谢

Answer 1

正如t.m.adam爵士已经提到的那样，这是在不知道有多少页的情况下耗尽所有页面的最佳方法。试试这个。它会告诉你所有的名字。

import requests
from bs4 import BeautifulSoup

target_url = url = "http://ratings.food.gov.uk/enhanced-search/en-GB/%5E/London/Relevance/0/%5E/%5E/0/{}/10"

page_num = 1
while True:
    response = requests.get(target_url.format(page_num))
    if response.status_code == 404: # break once the page is not found
        break
    print("Scraping Page Number {}".format(page_num))
    soup = BeautifulSoup(response.text,"lxml")
    for item in soup.findAll("div",class_="ResultsBusinessName"):
        name = item.findAll("a")[0].text
        print(name.strip())

    page_num += 1

Answer 2

解决方法：

当您在检查Next按钮时有True，您可以手动创建链接并通过递增数字尾在循环中打开它们，如您所写：第2页从0/1/10到0/2/10，依此类推。

大概是这样的：

base_ur = 'http://ratings.food.gov.uk/enhanced-search/en-GB/%5E/London/Relevance/0/%5E/%5E/0/' # deleting 1/10

incr = 0
while button_next:
    incr+=1
    next_url = base_url + str(incr)+'/10'
    page = urllib.requests.urlopen(next_url)
    (and then scraping goes)

Answer 3

没有必要验证button_nexturl，因为您已经知道url在所有页面上是如何变化的。所以，不要使用url"http://ratings.food.gov.uk/enhanced-search/en-GB/^/London/相关性/0/^/^/0/1/10"，我建议使用"http://ratings.food.gov.uk/enhanced-search/en-GB/^/London/相关性/0/^/^/0/1/50"，网站提供了一次看到50个项目的选项，所以不要迭代4044，你只浏览了809页。

在同时循环中，我们等待当前为810，所以我们知道最后一页被刮掉了，因为通过检查，/809/50是最后一页。

import requests
from bs4 import BeautifulSoup

current = 0
while current < 810:  # Last page, by inspection is /809/50
    url = "http://ratings.food.gov.uk/enhanced-search/en-GB/%5E/London/Relevance/0/%5E/%5E/0/{:d}/50".format(current)
    data = requests.get(url).text 
    soup = BeautifulSoup(data, "html.parser")
    print(url)
    current += 1
    #  Do your scraping here