如何向下滚动并单击按钮连续web刮页在python

Question

我想刮掉整个页面，以获得帐户的链接，但问题是：

>

我需要多次单击“加载更多”按钮，以获取要刮取的完整帐户列表

有一个偶尔出现的弹出窗口，所以我如何检测它并单击取消按钮

如果可能的话，那么我更喜欢只请求刮掉整个页面。因为我必须点击按钮，所以想到使用硒。

这是我的代码：

import time
import requests
from bs4 import BeautifulSoup
import lxml
from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://society6.com/franciscomffonseca/followers')

time.sleep(3)

try: driver.find_element_by_class_name('bx-button').click() #button to remove popup

except: print("no popups")

driver.find_element_by_class_name('loadMore').click #to click load more button

我正在使用一个测试页面，其中有10K追随者，并希望刮掉他们的追随者帐户链接。我已经代码刮刀所以只需要看到完整的网页

https://society6.com/franciscomffonseca/followers

刮码以防万一：

r2 = requests.get('https://society6.com/franciscomffonseca/followers')
print(r2.status_code)
r2.raise_for_status

soup2 = BeautifulSoup(r2.content, "html.parser")
a2_tags = soup2.find_all(attrs={"class": "user"})

#attrs={"class": "user-list clearfix"}

follow_accounts = []

for a2 in a2_tags:
    follow_accounts.append('https://society6.com'+a2['href'])

print(follow_accounts)
print("number of accounts scraped: " + str(len(follow_accounts)))

加载更多按钮：

<button class="loadMore" onclick="loadMoreFollowers();">Load More</button>

Answer 1

您可以直接向Society6 API发出以下请求：

counter = 1

while True:
    source = requests.get('https://society6.com/api/users/franciscomffonseca/followers?page=%s' % counter).json()
    if source['data']['attributes']['followers']:
        for i in source['data']['attributes']['followers']:
            print(i['card']['link']['href'])
        counter += 1
    else:
        break

这会将相对的HREF打印为

/wickedhonna
/wiildrose
/williamconnolly
/whiteca1x

如果你想要绝对的hrefs，只需替换

print(i['card']['link']['href'])

具有

print("https://society6.com" + i['card']['link']['href'])