使用漂亮的汤来模拟页面点击来访问页面上的所有超文本标记语言？

Question

我正在尝试浏览以下网站：

https://www.bandsintown.com/?came_from=257

使用以下代码，我能够使用beautifulsoup成功地抓取页面上列出的事件：

from bs4 import BeautifulSoup
import requests
url = 'https://www.bandsintown.com/?came_from=257&sort_by_filter=Number+of+RSVPs'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')


dates = soup.find_all('div', {'class': 'event-b58f7990'})
month=[]
day=[]
for i in dates:
    md = i.find_all('div')
    month.append(md[0].text)
    day.append(md[1].text)

然而，我遇到的问题是，我只能抓取前18个事件-页面的其余部分只有在单击底部的“全部查看”按钮时才可用。在beautifulsoup或其他程序中，是否有办法模拟单击此按钮，以便我可以刮取所有数据？我更喜欢用python来保存它，因为我正在用beautifulsoup进行大多数刮片。非常感谢！

Answer 1

如果您可以计算出以下范围的结束点或设置范围的结束点（对于走得太远的错误处理），您可以得到一个json响应，并解析出您需要的信息，如下所示。根据发出的请求数量，您可以选择重新使用与会话的连接。

import requests
import pandas as pd

url = 'https://www.bandsintown.com/upcomingEvents?came_from=257&sort_by_filter=Number+of+RSVPs&page={}&latitude=51.5167&longitude=0.0667'
results = []
for page in range(1,20):
    data = requests.get(url.format(page)).json()
    for item in data['events']:
        results.append([item['artistName'], item['eventDate']['day'],item['eventDate']['month']])
df = pd.DataFrame(results)
print(df)