用beautifulsoup和python清除按钮单击时隐藏的文本？

Question

所以我尝试着用下面的网址：Website

页面有一些隐藏的文本，点击后解锁。它们的超文本标记语言代码也被隐藏，并在单击按钮后解除隐藏。

我怎样才能把这篇课文删掉？

美丽的汤对这篇文章不起作用。

Answer 1

你不需要刮擦，在引擎盖下有ajax调用

import requests
import re
from bs4 import BeautifulSoup

soup = BeautifulSoup(requests.get('https://en.indonetwork.co.id/company/surrama-groups').text)
v = soup.find(class_='btn btn-contact btn-contact-phone btn-contact-ajax').attrs
data_id = v['data-id']
data_text = v['data-text']
data_type = v['data-type']

data = requests.post('https://en.indonetwork.co.id/ajax', json={
    'id': data_id,
    'text': data_text,
    'type': data_type,
    'url': "leads/ajax"
}).json()

mobile_no = re.findall(r'(\d+)', data['text'])
print(mobile_no) #['622122520556', '6287885720277']

Answer 2

它不能与beautifulsoup一起工作，因为它不是静态的站点。我的意思是，当您单击电话按钮时，它会将请求发送到apiendpoint，然后呈现来自该请求的响应。您可以在开发工具的“网络”选项卡中检查此项。（我证实了这一点）

BeautifulSoup仅从请求检索第一个静态html。它不考虑由用户交互触发的请求。

以下是完成此操作的确切步骤。

1. 使用headerful浏览器加载html" target="_blank">selenium。（headerful浏览器允许您轻松与网页交互）

您可以直接将请求发送到完全相同的api终结点。但它会有一些安全障碍，比如cors。

这不是一个好的解决方案，因为apiendpoint可能会发生更改，或者由于此api调用包含电话号码，所以它们可以使此设置更安全，以备将来使用。但网页上的交互几乎保持不变。

Answer 3

如果打开开发工具并单击这些按钮，您可以看到您向https://en.indonetwork.co.id/ajax.

因此，您可以尝试复制它——看看您是否可以从主页的刮擦中捕获发布请求中发送的有效载荷并发送它。

或者您可以使用selenium加载页面，单击按钮，然后捕获数据。